【原】PointNet：三維點(diǎn)云分割與分類的深度學(xué)習(xí)—概述

點(diǎn)云PCL 2021-03-09

展開全文

本文是關(guān)于PointNet點(diǎn)云深度學(xué)習(xí)的翻譯與理解，PointNet是一種直接處理點(diǎn)云的新型神經(jīng)網(wǎng)絡(luò)，它很好地體現(xiàn)了輸入點(diǎn)云的序列不變性。

摘要

點(diǎn)云是一種重要的幾何數(shù)據(jù)結(jié)構(gòu)類型。由于其數(shù)據(jù)格式不規(guī)則，大多數(shù)研究人員將這些數(shù)據(jù)轉(zhuǎn)換為規(guī)則的三維體素網(wǎng)格或圖像集合。但是，這會(huì)導(dǎo)致數(shù)據(jù)不必要地變得龐大，并導(dǎo)致一些問題。在本文中，我們設(shè)計(jì)了一種直接處理點(diǎn)云的新型神經(jīng)網(wǎng)絡(luò)，它很好地體現(xiàn)了輸入點(diǎn)云的序列不變性。命名為 PointNet，從對象分類，部分分割到場景語義分析等方面提供了一個(gè)完整的體系結(jié)構(gòu)。雖然簡單，但 PointNet是高效且有效。從經(jīng)驗(yàn)上講，它表現(xiàn)出很強(qiáng)的 PAR 水平，甚在至比現(xiàn)有技術(shù)更好。理論上，我們提供分析以了解網(wǎng)絡(luò)已經(jīng)學(xué)到了什么，以及為什么網(wǎng)絡(luò)在輸入擾動(dòng)和魯棒性方面是強(qiáng)健的。

1.介紹

在本文中，我們探討深度學(xué)習(xí)架構(gòu)，可以學(xué)習(xí)和理解三維幾何數(shù)據(jù)（如點(diǎn)云或網(wǎng)格）的。典型的卷積架構(gòu)需要高度規(guī)則的輸入數(shù)據(jù)格式，如圖像網(wǎng)格或三維體素，以便執(zhí)行權(quán)重共享和其他內(nèi)核優(yōu)化。由于點(diǎn)云或網(wǎng)格不是常規(guī)格式，因此大多數(shù)研究人員通常會(huì)將這些數(shù)據(jù)轉(zhuǎn)換為常規(guī) 3D 體素網(wǎng)格或圖像集合（例如視圖），然后將這些數(shù)據(jù)饋送到深層網(wǎng)絡(luò)體系結(jié)構(gòu)。然而，這一數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)變?yōu)橐?guī)則的網(wǎng)格點(diǎn)云，使不必要的數(shù)據(jù)的引入，使得數(shù)據(jù)量變大，導(dǎo)致產(chǎn)生的數(shù)據(jù)不必要的海量，同時(shí)也會(huì)引入可以模糊數(shù)據(jù)自然不變性的量化偽像。

出于這個(gè)原因，我們專注于使用簡單點(diǎn)云的三維幾何體的不同輸入表示，并將我們生成的深層網(wǎng)絡(luò)命名為 PointNet。輸入點(diǎn)云是簡單而統(tǒng)一的結(jié)構(gòu)，可以避免網(wǎng)格的組合不規(guī)則性和復(fù)雜性的情況，因此更容易學(xué)習(xí)。然而， PointNet 仍然必須尊重這樣一個(gè)事實(shí)，即點(diǎn)云僅僅是一組點(diǎn)，因此對其成員的排列是不的，因此在凈計(jì)算中需要一定的對稱性。還需要考慮進(jìn)一步的剛體運(yùn)動(dòng)的不變性。

圖 1. PointNet 的應(yīng)用，我們提出了一種新穎的深層網(wǎng)絡(luò)體系結(jié)構(gòu)，它利用原始點(diǎn)云（點(diǎn)集）而不需要體素化或渲染。它是一個(gè)統(tǒng)一的架構(gòu)，可以學(xué)習(xí)全局和局部點(diǎn)特征，為大量 3D 識(shí)別任務(wù)提供簡單，高效和有效的方法

我們的 PointNet 是一個(gè)統(tǒng)一的體系結(jié)構(gòu)，它直接將點(diǎn)云作為輸入，并為輸入的每個(gè)點(diǎn)輸出整個(gè)輸入的每個(gè)分類標(biāo)簽或每個(gè)點(diǎn)分段/每個(gè)部分標(biāo)簽。我們網(wǎng)絡(luò)的基本架構(gòu)非常簡單，因?yàn)樵诔跏茧A段，每個(gè)點(diǎn)都被相同和獨(dú)立地處理。在基本設(shè)置中，每個(gè)點(diǎn)僅由其三個(gè)坐標(biāo)（x， y， z）表示?？梢酝ㄟ^計(jì)算法線和其他本地或全局特征來添加其他維度。

我們的方法的關(guān)鍵是使用一個(gè)單一的對稱函數(shù)， max pooling。實(shí)際上，是深度網(wǎng)絡(luò)有效地學(xué)習(xí)一組優(yōu)化函數(shù)/標(biāo)準(zhǔn)，選擇點(diǎn)云的角點(diǎn)或信息點(diǎn)并對其選擇原因進(jìn)行編碼。網(wǎng)絡(luò)的最終全連接層將這些學(xué)習(xí)到的最優(yōu)值匯總為上述整體形狀的全局描述符（形狀分類）或用于預(yù)測每個(gè)點(diǎn)標(biāo)簽（形狀分割）。

我們的輸入格式很容易應(yīng)用剛性或仿射變換，因?yàn)槊總€(gè)點(diǎn)都獨(dú)立變換。因此，我們可以添加一個(gè)依賴數(shù)據(jù)的空間變換網(wǎng)絡(luò)，在PointNet 處理它們之前嘗試對數(shù)據(jù)進(jìn)行規(guī)范化處理，以便進(jìn)一步改
進(jìn)結(jié)果。

我們既提供了理論分析，也提供了對我們對實(shí)驗(yàn)評估的方法。我們顯示我們的網(wǎng)絡(luò)可以近似任何連續(xù)的設(shè)置功能。更有意思的是，事實(shí)證明，我們的網(wǎng)絡(luò)學(xué)習(xí)通過一組稀疏的關(guān)鍵點(diǎn)來總結(jié)一個(gè)輸入點(diǎn)云，這些關(guān)鍵點(diǎn)根據(jù)可視化大致對應(yīng)于對象的骨架。理論分析提供了一個(gè)理解為什么我們的 PointNet 對輸入點(diǎn)的小擾動(dòng)以及通過點(diǎn)插入（異常值）或刪除（缺失數(shù)據(jù)）具有很強(qiáng)的魯棒性。
在從形狀分類，部分分割到場景分割的許多基準(zhǔn)數(shù)據(jù)集上，我們通過實(shí)驗(yàn)將我們的 PointNet 與基于多視圖和體積表示的最先進(jìn)方法進(jìn)行比較。在一個(gè)統(tǒng)一的體系結(jié)構(gòu)下，我們的 PointNet 不僅速度更快，而且表現(xiàn)的性能很好，甚至比現(xiàn)有技術(shù)更好。

我們工作的主要貢獻(xiàn)如下：

設(shè)計(jì)了一種適合在 3D 中利用無序點(diǎn)集的新型深層網(wǎng)絡(luò)體系結(jié)構(gòu);

展示如何訓(xùn)練這樣的網(wǎng)絡(luò)來執(zhí)行 3D 形狀分類，形狀部分分割和場景語義分析任務(wù);

對我們的方法的穩(wěn)定性和效率提供全面的經(jīng)驗(yàn)和理論分析;

舉例說明由網(wǎng)絡(luò)中所選神經(jīng)元計(jì)算出的 3D 特征，并為其性能提供直觀的解釋。

神經(jīng)網(wǎng)絡(luò)處理無序集合的問題是一個(gè)非常普遍的基本問題 - 我們期望我們的想法也可以轉(zhuǎn)移到其他領(lǐng)域。