計(jì)算機(jī)視覺工坊 150篇原創(chuàng)內(nèi)容 公眾號(hào) Differential Information Aided 3-D Registration for Accurate Navigation and Scene Reconstruction
作者：Jin Wu, Shuyang Zhang, Yilong Zhu, Ruoyu Geng, Zhongtao Fu, Fulong Ma and Ming Liu（香港科技大學(xué) 機(jī)器人與多感知實(shí)驗(yàn)室(RAM-LAB)論文地址：https://zhuanlan.zhihu.com/p/378591025?utm_medium=social&utm_oi=985951691249852416本文核心是研究基于時(shí)間差分信息的點(diǎn)云配準(zhǔn)問題，提出了在時(shí)間差分基礎(chǔ)上的點(diǎn)云匹配數(shù)學(xué)模型，時(shí)間差分信息通常來自于點(diǎn)云變化量測(cè)量和外部差分信息，如IMU、光流（Optical Flow）、場(chǎng)景流（Scene Flow）等。利用了kD樹對(duì)提出的新點(diǎn)云配準(zhǔn)模型進(jìn)行迭代最近點(diǎn)（ICP）估計(jì)，可以有效的利用時(shí)間差分信息對(duì)點(diǎn)云對(duì)應(yīng)性帶來精確度上的提升。摘要： 提出了一種新的用于點(diǎn)云配準(zhǔn)的3-D 對(duì)齊方法，其中采用了測(cè)量點(diǎn)的時(shí)間差分信息。新問題被證明是一種新穎的多維優(yōu)化。然后獲得此優(yōu)化的解析解，這為使用 k-D 樹的進(jìn)一步對(duì)應(yīng)匹配奠定了基礎(chǔ)。最后，通過許多例子，我們表明新方法在實(shí)際實(shí)驗(yàn)中具有更好的配準(zhǔn)精度。3-D配準(zhǔn)是當(dāng)前生物醫(yī)學(xué)成像、多維重建、機(jī)器人感知等前沿領(lǐng)域的熱門技術(shù)[1]、[2]。它找出兩個(gè)測(cè)量點(diǎn)云之間的仿射、剛性或非剛性變換，從而可以有效地合并多個(gè) 3-D 視圖。這些點(diǎn)云測(cè)量通常來自激光掃描儀、RGB-D 相機(jī)、結(jié)構(gòu)光等。它也成為使用視覺測(cè)量的姿態(tài)確定、定位和建圖的關(guān)鍵技術(shù)[3]-[5]。潛在地，配準(zhǔn)也有利于手眼校準(zhǔn)問題[6]、[7]。兩個(gè)點(diǎn)間坐標(biāo)系{B}和{R}之間的經(jīng)典 3-D 配準(zhǔn)問題可以指定為：此問題使用最小二乘公式對(duì)齊{bi}和{ri} 的兩個(gè)點(diǎn)集。目標(biāo)是找到最佳旋轉(zhuǎn)和 R 以及平移 T 以獲得最佳點(diǎn)云對(duì)齊。(1) 中的問題已經(jīng)通過奇異值分解 (SVD, [8]) 和特征分解 (EIG, [9]) 得到廣泛解決。(1) 在點(diǎn)云匹配算法中也起著重要作用，包括迭代最近點(diǎn)（ICP，[10]）和幾何特征匹配[11]。問題（1）對(duì)于具有大量點(diǎn)的場(chǎng)景非常有效。然而，在工程中，匹配兩個(gè)點(diǎn)云是具有挑戰(zhàn)性的，因?yàn)榈阉魇欠峭沟?。目前，已?jīng)付出了大量努力來尋求全局最優(yōu) ICP 解決方案，例如 Go-ICP [12] 和 BnB [13]。然而，這些全局最優(yōu)變體在計(jì)算上效率低。隨著點(diǎn)數(shù)的大幅減少，搜索的復(fù)雜性急劇增加。因此，配準(zhǔn)性能相應(yīng)下降，甚至可能導(dǎo)致工程使用失敗。這些應(yīng)用程序中存在的一個(gè)關(guān)鍵特性是它們是實(shí)時(shí)實(shí)現(xiàn)的，因此激光掃描儀是連續(xù)移動(dòng)的。可以注意到，具有挑戰(zhàn)性的案例通常是動(dòng)態(tài)的。因此，應(yīng)添加除點(diǎn)云測(cè)量之外的更多實(shí)質(zhì)性信息以進(jìn)行改進(jìn)。連續(xù)測(cè)量點(diǎn)云的時(shí)間微分測(cè)量包含非常有用的 3-D 配準(zhǔn)信息。此外， IMU等許多其他傳感器可以通過慣性積分 [14]、[15] 提供位姿的差分信息。本文正是基于這樣的想法，并提出了一種新的 3-D 配準(zhǔn)方法，借助測(cè)量的 3-D 點(diǎn)的時(shí)間差分。所研究的問題之所以有效，有以下幾個(gè)原因：以前的方法通常通過 IMU 測(cè)量 [16]、[17] 來近似適當(dāng)?shù)男D(zhuǎn) R 來解決（1）。但是，如果 bi 和 ri 有偏差，則對(duì)應(yīng)匹配可能會(huì)失敗。考慮差分信息時(shí)，可以消除這些偏差，從而提高配準(zhǔn)精度。也就是說，先前方法的測(cè)量是松耦合的，而所提出的解決方案的測(cè)量是緊耦合的。在新問題中考慮了更多的時(shí)間差分信息。因此，將給所研究的問題帶來更多的實(shí)質(zhì)性信息，從而產(chǎn)生更準(zhǔn)確的結(jié)果。1) 差分 3-D 配準(zhǔn)首次被提出并在數(shù)學(xué)上進(jìn)行了表述。這允許一組新的改進(jìn)配準(zhǔn)方程。這些方程在存在多種條件時(shí)非常有用。2) 根據(jù)提出的新方程導(dǎo)出解析解的結(jié)果，這允許實(shí)時(shí)計(jì)算高效計(jì)算。3）我們建立多個(gè)k-D樹對(duì)不同時(shí)刻的點(diǎn)進(jìn)行同時(shí)對(duì)應(yīng)匹配。通過使用匹配良好的點(diǎn)對(duì)改進(jìn)配準(zhǔn)結(jié)果。
其中 ? 表示增量項(xiàng)。這里增量測(cè)量 ?b 和 ?r 可以直接由連續(xù)輸出的差分給出。在本文中，旋轉(zhuǎn)和平移增量是使用加窗遞歸方法（WRA，[19]）估計(jì)的。WRA 可以用很小的窗口大小以及很少的歷史數(shù)據(jù)來估計(jì)和預(yù)測(cè)變量，并且被證明比傳統(tǒng)的內(nèi)插或外推方法更有效。建立 (3) 的另一個(gè)核心任務(wù)是獲得 ?R 和 ?T 的準(zhǔn)確估計(jì)，以便可以適當(dāng)?shù)馗倪M(jìn)配準(zhǔn)。將超低成本 IMU 集成到 LIDAR 中已成為一種普遍做法。與 IMU 結(jié)合時(shí)，可以直接使用慣性導(dǎo)航機(jī)制計(jì)算 ?R 和 ?T：
平移增量ΔT可以通過IMU預(yù)積分獲得[14]：然而，由于 IMU 中的偏差，(4) 和 (5) 中的積分將受到長(zhǎng)期漂移的影響。有幾種方法可以補(bǔ)償這種漂移：1）加速度計(jì)和磁力計(jì)的輔助：可以通過融合重力加速度和當(dāng)?shù)氐卮艌?chǎng)來消除旋轉(zhuǎn)漂移[21]。2) 零更新輔助：如果激光掃描儀并不總是處于高動(dòng)態(tài)的運(yùn)動(dòng)中，它有時(shí)會(huì)停止。在這種時(shí)候，可以調(diào)用零角速率更新 (ZARU) 和零速度更新 (ZUPT) 來補(bǔ)償旋轉(zhuǎn)和平移偏差 [22]。3) 借助 3-D 激光掃描的內(nèi)部信息：就像從圖像序列中估計(jì) 2-D 速度的光流一樣，場(chǎng)景流可用于從 3-D 測(cè)量中提取 3-D 運(yùn)動(dòng)。此外，在城市環(huán)境中，有許多具有豐富線和平面特征的建筑可以進(jìn)一步處理以估計(jì)旋轉(zhuǎn)和平移 [23]。4) 視覺-激光里程計(jì)輔助：使用相機(jī)和激光掃描儀的組合，可以同時(shí)測(cè)量2-D和3-D場(chǎng)景。然后它能夠進(jìn)行視覺-激光里程計(jì)以進(jìn)行連續(xù)的自我運(yùn)動(dòng)估計(jì)。將這種時(shí)間差分信息添加到 3-D 配準(zhǔn)中可以使測(cè)量點(diǎn)數(shù)增加一倍，從而在一定程度上提高成功率。配準(zhǔn)問題（1）轉(zhuǎn)化為由于（8）中點(diǎn)云的兩個(gè)子類別具有不同的尺度，我們需要通過引入點(diǎn)分散和歸一化來平衡這種不一致。最終的優(yōu)化將是最終，可以通過計(jì)算以下矩陣的最大特征值 λmax 及其關(guān)聯(lián)的特征向量 q 來解決新的優(yōu)化（8）
B. Correspondence Matching從連續(xù)的點(diǎn)云測(cè)量中，很難直接獲得 ?bi 和 ?ri。原因是bi,k和ri,k之間沒有對(duì)應(yīng)關(guān)系，找到bi,k-1和bi,k也需要對(duì)應(yīng)匹配，其中k表示時(shí)刻。為了解決這個(gè)問題，我們建立了以下匹配機(jī)制：(13) 形成一個(gè)新的ICP形式，與來自連續(xù)時(shí)間點(diǎn)集的對(duì)應(yīng)匹配。為了有效地獲得對(duì)應(yīng)關(guān)系，我們使用 k-D 樹來加速匹配。用于比較的經(jīng)典 ICP 公式是從（14）中，我們可以看到ICP的匹配過程比提出的要簡(jiǎn)單得多，這表明匹配可能在某些動(dòng)力學(xué)條件下是不適定的。為了驗(yàn)證所開發(fā)算法的優(yōu)越性，我們使用圖 2 中的無人機(jī) (UAV) 平臺(tái)，配備機(jī)載剛性安裝 IMU (Honywell) 和 3-D 激光掃描儀 (Velodyne VLP-16)。IMU 和激光掃描儀之間的時(shí)間同步是通過實(shí)時(shí)運(yùn)動(dòng)學(xué) (RTK) 全球?qū)Ш叫l(wèi)星系統(tǒng) (GNSS) 接收器的每秒脈沖 (PPS) 進(jìn)行的。IMU 的采樣率為 100Hz，激光掃描儀的頻率為 20Hz。該系統(tǒng)還包含一個(gè)高精度的姿態(tài)和航向參考系統(tǒng)（AHRS）和一個(gè)精確的集成導(dǎo)航系統(tǒng)（INS），提供精確的姿態(tài)、速度和位置估計(jì)。GNSS提供真值。用于對(duì)應(yīng)匹配的 k-D 樹的典型實(shí)現(xiàn)可以在 [26] 中找到。需要注意的是，由于使用了更多的 k-D 樹，因此順序 k-D 樹的計(jì)算負(fù)載高于經(jīng)典 ICP。但是，請(qǐng)注意，所有 k-D 樹都可以通過并行化實(shí)現(xiàn)。因此，所提出的現(xiàn)代多核處理計(jì)算機(jī)方法的計(jì)算成本不會(huì)比經(jīng)典 ICP 高多少。相反，由于考慮了更多的動(dòng)態(tài)測(cè)量，因此提出的方法比傳統(tǒng)的 ICP 收斂得更快。出于比較的目的，我們使用 ICP 及其 IMUaided 變體進(jìn)行比較。IMU輔助ICP使用IMU測(cè)量的旋轉(zhuǎn)作為預(yù)測(cè)。慣性姿態(tài)/速度/位置傳播的機(jī)制如（4）和（5）所示。 使用開發(fā)的無人機(jī)平臺(tái)進(jìn)行了 20 分鐘的試飛。無人機(jī)已在城市場(chǎng)景中遠(yuǎn)程控制以進(jìn)行 3D 重建。使用我們提出的方法的結(jié)果拼接原始點(diǎn)云測(cè)量。重建場(chǎng)景如圖 1 所示，某一地點(diǎn)的放大視圖如圖 3 所示。使用不同算法的軌跡如圖 4 所示。我們還獲得了無人機(jī)姿態(tài)確定和定位的統(tǒng)計(jì)結(jié)果，其中 顯示在表 I 中。我們還測(cè)試了所提出的方法和經(jīng)典 ICP 的計(jì)算負(fù)載，其結(jié)果在表 II 中提供。在表II中，顯示了最大絕對(duì)誤差(MAE)、均方根誤差(RMSE)。從上面給出的結(jié)果，我們可以觀察到所提出方法的優(yōu)越性。從圖 3 可以看出，所提出的方法在重建場(chǎng)景中合并了更豐富的點(diǎn)云掃描。原因是所提出的方法使用多個(gè)k-D樹進(jìn)行點(diǎn)云點(diǎn)和差分點(diǎn)的對(duì)應(yīng)匹配。因此，新設(shè)計(jì)的匹配與松耦合的 IMU 輔助 ICP 相比更準(zhǔn)確，并且將匹配更多點(diǎn)進(jìn)行點(diǎn)云合并。從圖 4 所示使用不同算法的軌跡，我們可以看出，與 RTK GNSS 接收機(jī)的參考軌跡相比，純慣性算法的精度最差，而所提出的方法具有最佳精度。IMU 輔助的 ICP 僅因其松耦合的性質(zhì)而排名第二。所提出的緊耦合差分方法能夠消除原始數(shù)據(jù)中的點(diǎn)偏差，因此具有更好的魯棒性和準(zhǔn)確性。因此，同時(shí)提高了姿態(tài)確定精度和定位精度，如表 I 所示。如第 III-A 節(jié)所示，有更多的 k-D 樹用于對(duì)應(yīng)匹配。但是，由于所有 k-D 樹都是并行實(shí)現(xiàn)的，因此整體計(jì)算效率并不比經(jīng)典 ICP 高多少（見表二）。然而，由于使用了更多的 k-D 樹，因此不可避免地必須占用更多的隨機(jī)存取存儲(chǔ)器 (RAM) 空間。在本文中，引入了一種包含時(shí)間差分信息的新點(diǎn)云配準(zhǔn)公式，以實(shí)現(xiàn)混合配準(zhǔn)性能。我們表明可以輕松獲取時(shí)間差分信息。因此，所設(shè)計(jì)的方案將是實(shí)用且易于實(shí)施的。通過實(shí)驗(yàn)研究，已經(jīng)發(fā)現(xiàn)新的公式可以導(dǎo)致更有效的對(duì)應(yīng)匹配。然而，隨著測(cè)量維度的增加，我們不可避免地需要更多的空間進(jìn)行在線處理。初衷
3D視覺工坊是基于優(yōu)質(zhì)原創(chuàng)文章的自媒體平臺(tái)，創(chuàng)始人和合伙人致力于發(fā)布3D視覺領(lǐng)域最干貨的文章，然而少數(shù)人的力量畢竟有限，知識(shí)盲區(qū)和領(lǐng)域漏洞依然存在。為了能夠更好地展示領(lǐng)域知識(shí)，現(xiàn)向全體粉絲以及閱讀者征稿，如果您的文章是3D視覺、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、三維測(cè)量、VR/AR、3D人臉識(shí)別、醫(yī)療影像、缺陷檢測(cè)、行人重識(shí)別、目標(biāo)跟蹤、視覺產(chǎn)品落地、硬件選型、求職分享等方向，歡迎砸稿過來~文章內(nèi)容可以為paper reading、資源總結(jié)、項(xiàng)目實(shí)戰(zhàn)總結(jié)等形式，公眾號(hào)將會(huì)對(duì)每一個(gè)投稿者提供相應(yīng)的稿費(fèi)，我們支持知識(shí)有價(jià)！
|
