寫(xiě)在前面

今天我們探討下深度學(xué)習(xí)技術(shù)如何改善在複雜環(huán)境中基於視覺(jué)的SLAM（同時(shí)定位與地圖建構(gòu)）表現(xiàn)。透過(guò)將深度特徵提取和深度匹配方法相結(jié)合，這裡介紹了一種多功能的混合視覺(jué)SLAM系統(tǒng)，旨在提高在諸如低光條件、動(dòng)態(tài)光照、弱紋理區(qū)域和嚴(yán)重抖動(dòng)等挑戰(zhàn)性場(chǎng)景中的適應(yīng)性。我們的系統(tǒng)支援多種模式，包括拓展單目、立體、單目-慣性以及立體-慣性配置。除此之外，也分析如何將視覺(jué)SLAM與深度學(xué)習(xí)方法結(jié)合，以啟發(fā)其他研究。透過(guò)在公共資料集和自採(cǎi)樣資料上的廣泛實(shí)驗(yàn)，展示了SL-SLAM在定位精度和追蹤魯棒性方面優(yōu)於最先進(jìn)的SLAM演算法。

工程連結(jié)：https://github.com/zzzzxxxx111/SLslam.

（大拇指往上滑，點(diǎn)擊最上方的卡片追蹤我， #整個(gè)操作只會(huì)花你1.328 秒，然後帶走未來(lái)、所有、免費(fèi)的干貨，萬(wàn)一有內(nèi)容對(duì)您有幫助呢～）

目前SLAM應(yīng)用背景介紹

SLAM（同時(shí)定位與地圖建構(gòu)）是機(jī)器人技術(shù)、自動(dòng)駕駛和3D重建中的關(guān)鍵技術(shù)，它同時(shí)確定感測(cè)器的位置（定位）並建立環(huán)境的地圖。視覺(jué)和慣性感測(cè)器是最常用的感測(cè)設(shè)備，相關(guān)的解決方案已經(jīng)被深入討論和探索。經(jīng)過(guò)幾十年的發(fā)展，視覺(jué)（慣性）SLAM的處理框架已經(jīng)形成了一個(gè)基本框架，包括追蹤、地圖建構(gòu)和回環(huán)檢測(cè)。 在SLAM演算法中，追蹤模組負(fù)責(zé)估計(jì)機(jī)器人的運(yùn)動(dòng)軌跡，地圖建構(gòu)模組用於產(chǎn)生和更新環(huán)境地圖，回環(huán)偵測(cè)則用來(lái)識(shí)別已經(jīng)造訪過(guò)的位置。這些模組相互協(xié)作以實(shí)現(xiàn)對(duì)機(jī)器人狀態(tài)和環(huán)境的感知。 視覺(jué)SLAM常用的演算法包括特徵點(diǎn)法、直接法和半直接法。在特徵點(diǎn)法中，透過(guò)提取和匹配特徵點(diǎn)來(lái)估計(jì)相機(jī)位姿和三維點(diǎn)雲(yún)；直接法則透過(guò)最小化影像灰階差異來(lái)直接

近年來(lái)，相關(guān)研究集中在提高極端條件下的穩(wěn)健性和適應(yīng)性。由於SLAM技術(shù)的發(fā)展歷史悠久，因此有許多基於傳統(tǒng)幾何方法的SLAM代表性工作，如ORB-SLAM、VINS-Mono、DVO、MSCKF等。然而，仍然存在一些未解決的問(wèn)題。在諸如低光或動(dòng)態(tài)光照、嚴(yán)重抖動(dòng)和弱紋理區(qū)域等挑戰(zhàn)性環(huán)境中，由於傳統(tǒng)特徵提取演算法只考慮影像局部訊息，而沒(méi)有考慮影像的結(jié)構(gòu)和語(yǔ)義訊息，當(dāng)遇到上述情況時(shí)，現(xiàn)有的SLAM系統(tǒng)的追蹤可能會(huì)變得不穩(wěn)定和無(wú)效。 因此，在這些條件下，SLAM系統(tǒng)的追蹤可能會(huì)變得不穩(wěn)定和無(wú)效。

深度學(xué)習(xí)的快速發(fā)展為電腦視覺(jué)領(lǐng)域帶來(lái)了革命性的改變。透過(guò)利用大量資料訓(xùn)練，深度學(xué)習(xí)模型能夠模擬複雜的場(chǎng)景結(jié)構(gòu)和語(yǔ)意訊息，從而提升SLAM系統(tǒng)對(duì)場(chǎng)景的理解和表達(dá)能力。這種方法主要分為兩種途徑。第一種是基於深度學(xué)習(xí)的端對(duì)端演算法，如Droid-slam、NICE-SLAM、DVI-SLAM。然而，這些方法需要大量的資料進(jìn)行訓(xùn)練，同時(shí)需要高運(yùn)算資源和儲(chǔ)存空間，難以實(shí)現(xiàn)即時(shí)追蹤。第二種途徑稱(chēng)為混合SLAM，它利用深度學(xué)習(xí)來(lái)增強(qiáng)SLAM中的特定模組?；旌蟂LAM充分利用了傳統(tǒng)幾何方法和深度學(xué)習(xí)方法的優(yōu)勢(shì)，能夠在幾乎任何限制和語(yǔ)義理解之間找到平衡。儘管目前該領(lǐng)域已有一些研究，但如何有效地整合深度學(xué)習(xí)技術(shù)仍是一個(gè)值得進(jìn)一步研究的方向。

目前，現(xiàn)有的混合SLAM存在一些限制。 DXNet 只是簡(jiǎn)單地將ORB特徵點(diǎn)替換為深度特徵點(diǎn)，但仍繼續(xù)使用傳統(tǒng)方法來(lái)追蹤這些特徵。因此，這可能導(dǎo)致深度特徵資訊的不連貫。 SP-Loop 僅將深度學(xué)習(xí)特徵點(diǎn)引入閉環(huán)模組，而在其他地方保留傳統(tǒng)的特徵點(diǎn)提取方法。因此，這些混合SLAM方法並沒(méi)有有效且全面地結(jié)合深度學(xué)習(xí)技術(shù)，導(dǎo)致在某些複雜場(chǎng)景下追蹤和建圖效果的下降。

為了解決這些問(wèn)題，這裡提出了一個(gè)基於深度學(xué)習(xí)的多功能SLAM系統(tǒng)。將Superpoint特徵點(diǎn)提取模組整合到系統(tǒng)中，並將其作為唯一的表現(xiàn)形式貫穿始終。此外，在複雜環(huán)境中，傳統(tǒng)的特徵匹配方法經(jīng)常表現(xiàn)出不穩(wěn)定性，導(dǎo)致追蹤和建圖品質(zhì)的下降。然而，最近基於深度學(xué)習(xí)的特徵匹配方法的進(jìn)步已經(jīng)顯示出在複雜環(huán)境中實(shí)現(xiàn)改進(jìn)匹配性能的潛力。這些方法利用場(chǎng)景的先驗(yàn)資訊和結(jié)構(gòu)細(xì)節(jié)來(lái)增強(qiáng)配對(duì)的有效性。 Lightglue作為最新的SOTA（state-of-the-art）匹配方法，因其高效且輕量級(jí)的特性，對(duì)於需要高實(shí)時(shí)性能的SLAM系統(tǒng)具有優(yōu)勢(shì)。因此，我們已將整體SLAM系統(tǒng)中的特徵匹配方法替換為L(zhǎng)ightglue，相較於傳統(tǒng)方法，提高了穩(wěn)健性和準(zhǔn)確性。

在進(jìn)行Superpoint特徵點(diǎn)描述子處理時(shí)，我們對(duì)其進(jìn)行了預(yù)處理，以與相應(yīng)的視覺(jué)詞袋的訓(xùn)練保持一致。當(dāng)Lightglue結(jié)合時(shí)，這種方法實(shí)現(xiàn)了精確的場(chǎng)景辨識(shí)效果。同時(shí)，為了保持準(zhǔn)確性與效率之間的平衡，設(shè)計(jì)了一種特徵點(diǎn)選擇策略?？紤]到可擴(kuò)充性、可攜性和即時(shí)效能，我們利用ONNX Runtime函式庫(kù)來(lái)部署這些深度學(xué)習(xí)模型。最後，設(shè)計(jì)了一系列實(shí)驗(yàn)來(lái)證明方法在多種具有挑戰(zhàn)性的場(chǎng)景中提高了SLAM演算法的軌跡預(yù)測(cè)精度和追蹤穩(wěn)健性，如圖8所示。

SL-SLAM系統(tǒng)框架

SL-SLAM的系統(tǒng)結(jié)構(gòu)如圖2所示，該系統(tǒng)主要有四種感測(cè)器配置，即單目、單目慣性、雙眼和雙目慣性。系統(tǒng)基於ORB-SLAM3作為基線，包含三個(gè)主要模組：追蹤、局部建圖和回環(huán)偵測(cè)。為了將深度學(xué)習(xí)模型整合到系統(tǒng)中，使用了ONNX Runtime深度學(xué)習(xí)部署框架，結(jié)合了SuperPoint和LightGlue模型。

對(duì)於每個(gè)輸入影像，系統(tǒng)首先將其輸入到SuperPoint網(wǎng)路中，以取得特徵點(diǎn)的機(jī)率張量和描述符張量。然後，系統(tǒng)使用兩幀進(jìn)行初始化，並對(duì)每個(gè)後續(xù)幀進(jìn)行粗略追蹤。它進(jìn)一步透過(guò)追蹤局部地圖來(lái)細(xì)化姿態(tài)估計(jì)。在跟蹤失敗的情況下，系統(tǒng)要么使用參考幀進(jìn)行跟蹤，要么執(zhí)行重定位以重新獲取姿態(tài)。請(qǐng)注意，在粗略追蹤、初始化、參考幀追蹤和重定位中，都使用了LightGlue進(jìn)行特徵匹配。這確保了準(zhǔn)確且穩(wěn)健的匹配關(guān)係，從而提高了追蹤的有效性。

在基準(zhǔn)演算法中，局部建圖執(zhí)行緒的主要作用是在即時(shí)動(dòng)態(tài)地建構(gòu)局部地圖，包括地圖點(diǎn)和關(guān)鍵影格。它利用局部地圖執(zhí)行捆集調(diào)整最佳化，從而減少追蹤誤差並增強(qiáng)一致性。局部建圖線程使用追蹤線程輸出的關(guān)鍵幀，基於LightGlue的三角測(cè)量和自適應(yīng)局部捆集調(diào)整（BA）最佳化來(lái)重建精確的地圖點(diǎn)。然後區(qū)分並移除冗餘的地圖點(diǎn)和關(guān)鍵影格。

閉環(huán)校正執(zhí)行緒利用基於SuperPoint描述符訓(xùn)練的關(guān)鍵影格資料庫(kù)和詞袋模型來(lái)檢索類(lèi)似的關(guān)鍵影格。透過(guò)對(duì)SuperPoint描述符進(jìn)行二值化來(lái)增強(qiáng)檢索效率。選定的關(guān)鍵影格使用LightGlue進(jìn)行特徵匹配，以進(jìn)行共同視圖幾何驗(yàn)證，減少不匹配的可能性。最後，執(zhí)行閉迴路融合和全域BA（Bundle Adjustment）來(lái)最佳化整體姿態(tài)。

1）Feature Extraction

SuperPoint 網(wǎng)路結(jié)構(gòu)：SuperPoint網(wǎng)路架構(gòu)主要由三個(gè)部分組成：一個(gè)共享編碼器、一個(gè)特徵檢測(cè)解碼器和一個(gè)描述符解碼器。編碼器是一個(gè)VGG風(fēng)格的網(wǎng)絡(luò)，能夠降低影像維度並提取特徵。特徵檢測(cè)解碼器的任務(wù)是計(jì)算影像中每個(gè)像素的機(jī)率，以確定其成為特徵點(diǎn)的可能性。描述符解碼網(wǎng)路利用子像素卷積來(lái)減輕解碼過(guò)程的運(yùn)算複雜度。然後，網(wǎng)路輸出一個(gè)半密集描述符，接著應(yīng)用雙三次插值演算法來(lái)取得完整的描述符。在獲取了網(wǎng)路輸出的特徵點(diǎn)張量和描述符張量之後，為了提高特徵提取的穩(wěn)健性，我們採(cǎi)用了一種自適應(yīng)閾值選擇策略來(lái)過(guò)濾特徵點(diǎn)，並進(jìn)行後處理操作以獲取特徵點(diǎn)及其描述符。特徵提取模組的具體結(jié)構(gòu)如圖3所示。

自適應(yīng)特徵選擇：首先，每個(gè)圖像，標(biāo)記為I(W × H)，在調(diào)整大小以匹配SuperPoint網(wǎng)路的輸入圖像尺寸（W′ × H′）之前，會(huì)先轉(zhuǎn)換為灰階影像。影像過(guò)小可能會(huì)阻礙特徵提取，從而降低追蹤效能，而影像過(guò)大則可能導(dǎo)致過(guò)高的運(yùn)算需求和記憶體使用。因此，為了平衡特徵提取的準(zhǔn)確性和效率，本文選擇W′ = 400和H′ = 300。隨後，一個(gè)大小為W′ × H′的張量被送入網(wǎng)絡(luò)，產(chǎn)生兩個(gè)輸出張量：得分張量S，以及描述符張量D。一旦獲得特徵點(diǎn)得分張量和特徵描述符，下一步就是設(shè)定一個(gè)閾值th來(lái)過(guò)濾特徵點(diǎn)。

在具有挑戰(zhàn)性的場(chǎng)景中，每個(gè)特徵點(diǎn)的置信度會(huì)降低，如果採(cǎi)用固定的置信度閾值th，則可能導(dǎo)致提取的特徵數(shù)量減少。為了解決這個(gè)問(wèn)題，我們引入了自適應(yīng)的SuperPoint閾值設(shè)定策略。這種自適應(yīng)方法根據(jù)場(chǎng)景動(dòng)態(tài)調(diào)整特徵提取的閾值，從而在具有挑戰(zhàn)性的場(chǎng)景中實(shí)現(xiàn)更穩(wěn)健的特徵提取。自適應(yīng)閾值機(jī)制考慮了兩個(gè)因素：特徵內(nèi)部關(guān)係和幀間特徵關(guān)係。

在具有挑戰(zhàn)性的場(chǎng)景中，每個(gè)特徵點(diǎn)的置信度會(huì)降低，如果採(cǎi)用固定的置信度閾值th，則可能導(dǎo)致提取的特徵數(shù)量減少。為了解決這個(gè)問(wèn)題，引入了自適應(yīng)的SuperPoint閾值設(shè)定策略。這種自適應(yīng)方法根據(jù)場(chǎng)景動(dòng)態(tài)調(diào)整特徵提取的閾值，從而在具有挑戰(zhàn)性的場(chǎng)景中實(shí)現(xiàn)更穩(wěn)健的特徵提取。自適應(yīng)閾值機(jī)制考慮了兩個(gè)因素：特徵內(nèi)部關(guān)係和幀間特徵關(guān)係。

2）特徵匹配與前端

LightGlue網(wǎng)路結(jié)構(gòu)：LightGlue模型由多個(gè)相同的層組成，這些層共同處理兩組特徵。每一層都包含自註意力和交叉注意力單元，用於更新點(diǎn)的表示。每一層中的分類(lèi)器決定推斷的停止，避免了不必要的計(jì)算。最後，一個(gè)輕量級(jí)的頭部計(jì)算部分匹配得分。網(wǎng)路的深度會(huì)根據(jù)輸入影像的複雜性動(dòng)態(tài)調(diào)整。如果影像對(duì)很容易匹配，由於標(biāo)記的高置信度，可以實(shí)現(xiàn)早期終止。因此，LightGlue具有更短的運(yùn)行時(shí)間和更低的記憶體消耗，使其適合整合到需要即時(shí)效能的任務(wù)中。

相鄰幀之間的時(shí)間間隔，通常只有幾十毫秒，ORB-SLAM3假設(shè)相機(jī)在這段短暫的時(shí)間內(nèi)進(jìn)行勻速運(yùn)動(dòng)。它利用前一幀的姿態(tài)和速度來(lái)估計(jì)當(dāng)前幀的姿態(tài)，並使用這個(gè)估計(jì)的姿態(tài)進(jìn)行投影匹配。然後，它在一定範(fàn)圍內(nèi)搜尋匹配點(diǎn)，並據(jù)此細(xì)化姿態(tài)。然而，在現(xiàn)實(shí)中，相機(jī)的運(yùn)動(dòng)可能並不總是均勻的。突然的加速、減速或旋轉(zhuǎn)都可能對(duì)這種方法的有效性產(chǎn)生不利影響。 Lightglue可以透過(guò)直接在當(dāng)前幀和前一幀之間匹配特徵來(lái)有效解決這個(gè)問(wèn)題。然後，它使用這些匹配的特徵來(lái)細(xì)化初始姿態(tài)估計(jì)，從而減少突然加速或旋轉(zhuǎn)的負(fù)面影響。

在先前影格中影像追蹤失敗的情況下，無(wú)論是由於突然的相機(jī)運(yùn)動(dòng)還是其他因素，都需要使用參考關(guān)鍵影格進(jìn)行追蹤或重新定位?；鶞?zhǔn)演算法採(cǎi)用詞袋（Bag-of-Words, BoW）方法來(lái)加速當(dāng)前幀和參考幀之間的特徵匹配。然而，BoW方法將空間資訊轉(zhuǎn)換為基於視覺(jué)詞彙的統(tǒng)計(jì)訊息，可能會(huì)失去特徵點(diǎn)之間的準(zhǔn)確空間關(guān)係。此外，如果BoW模型中使用的視覺(jué)詞彙不足或不夠代表性，它可能無(wú)法捕捉場(chǎng)景的豐富特徵，導(dǎo)致配對(duì)過(guò)程中的不準(zhǔn)確。

結(jié)合Lightglue的追蹤：由於相鄰幀之間的時(shí)間間隔很短，通常只有幾十毫秒，ORB-SLAM3假設(shè)相機(jī)在這段時(shí)間內(nèi)進(jìn)行勻速運(yùn)動(dòng)。它使用前一幀的姿態(tài)和速度來(lái)估計(jì)當(dāng)前幀的姿態(tài)，並使用這個(gè)估計(jì)的姿態(tài)進(jìn)行投影匹配。然後，它在一定範(fàn)圍內(nèi)搜尋匹配點(diǎn)，並據(jù)此細(xì)化姿態(tài)。然而，在現(xiàn)實(shí)中，相機(jī)的運(yùn)動(dòng)可能並不總是均勻的。突然的加速、減速或旋轉(zhuǎn)都可能對(duì)這種方法的有效性產(chǎn)生不利影響。 Lightglue可以有效地解決這個(gè)問(wèn)題，透過(guò)直接在當(dāng)前幀和前一幀之間匹配特徵。然後，它使用這些匹配的特徵來(lái)細(xì)化初始姿態(tài)估計(jì)，從而減少突然加速或旋轉(zhuǎn)的負(fù)面影響。

在先前影格中影像追蹤失敗的情況下，無(wú)論是由於突然的相機(jī)運(yùn)動(dòng)還是其他因素，都需要使用參考關(guān)鍵影格進(jìn)行追蹤或重新定位?；鶞?zhǔn)演算法採(cǎi)用詞袋（Bag-of-Words, BoW）方法來(lái)加速當(dāng)前幀和參考幀之間的特徵匹配。然而，BoW方法將空間資訊轉(zhuǎn)換為基於視覺(jué)詞彙的統(tǒng)計(jì)訊息，可能會(huì)失去特徵點(diǎn)之間的準(zhǔn)確空間關(guān)係。此外，如果BoW模型中使用的視覺(jué)詞彙不足或不夠代表性，它可能無(wú)法捕捉場(chǎng)景的豐富特徵，導(dǎo)致配對(duì)過(guò)程中的不準(zhǔn)確。

為了解決這些問(wèn)題，在整個(gè)系統(tǒng)中用Lightglue取代了BoW方法。這項(xiàng)改變顯著提高了在大規(guī)模變換下成功追蹤和重新定位的機(jī)率，從而增強(qiáng)了我們的追蹤過(guò)程的準(zhǔn)確性和穩(wěn)健性。圖4展示了不同匹配方法的有效性。可以觀察到，基於Lightglue的匹配方法相比ORB-SLAM3中使用的基於投影或詞袋（Bag-of-Words）的匹配方法，表現(xiàn)出了更優(yōu)的匹配性能。因此，在SLAM操作過(guò)程中，它使得地圖點(diǎn)的追蹤更加均勻和穩(wěn)定，如圖6所示。

結(jié)合Lightglue的局部建圖：在局部建圖線程中，新地圖點(diǎn)的三角化是透過(guò)當(dāng)前關(guān)鍵影格及其鄰近關(guān)鍵影格來(lái)完成的。為了獲得更精確的地圖點(diǎn)，需要與具有更大基線的關(guān)鍵影格進(jìn)行配對(duì)。然而，ORB-SLAM3使用詞袋（Bag-of-Words, BoW）匹配來(lái)實(shí)現(xiàn)這一點(diǎn)，但當(dāng)基線較大時(shí)，BoW特徵匹配的性能會(huì)降低。相較之下，Lightglue演算法非常適合與大基線進(jìn)行匹配，並能無(wú)縫地整合到系統(tǒng)中。透過(guò)使用Lightglue進(jìn)行特徵匹配並對(duì)匹配點(diǎn)進(jìn)行三角化，可以恢復(fù)更全面、更高品質(zhì)的地圖點(diǎn)。

這透過(guò)在關(guān)鍵影格之間建立更多連接，以及透過(guò)共同優(yōu)化共同可見(jiàn)的關(guān)鍵影格和地圖點(diǎn)的姿態(tài)來(lái)穩(wěn)定跟蹤，從而增強(qiáng)了局部建圖能力。地圖點(diǎn)的三角化效果如圖6所示?？梢杂^察到，與ORB-SLAM3相比，我們的方法所建構(gòu)的地圖點(diǎn)能更好地反映場(chǎng)景的結(jié)構(gòu)資訊。此外，它們?cè)诳臻g上的分佈更加均勻和廣泛。

3）Loop closure

詞袋深度描述子：在閉環(huán)偵測(cè)中使用的詞袋方法是基於視覺(jué)詞彙的方法，借鑒了自然語(yǔ)言處理中詞袋的概念。它首先進(jìn)行字典的離線訓(xùn)練。最初，使用K-means演算法將訓(xùn)練影像集中偵測(cè)到的特徵描述子聚集成k個(gè)集合，形成字典樹(shù)的第一級(jí)。隨後，在每個(gè)集合內(nèi)進(jìn)行遞歸操作，最終得到深度為L(zhǎng)、分支數(shù)為k的最終字典樹(shù)，建立視覺(jué)詞彙表。每個(gè)葉節(jié)點(diǎn)都被視為一個(gè)詞彙。

一旦字典訓(xùn)練完成，在演算法執(zhí)行期間，會(huì)從當(dāng)前圖像的所有特徵點(diǎn)中在線生成詞袋向量和特徵向量。主流SLAM框架傾向於使用手動(dòng)設(shè)定的二進(jìn)位描述符，因?yàn)樗鼈兙哂休^小的記憶體佔(zhàn)用和簡(jiǎn)單的比較方法。為了進(jìn)一步提高方法效率，SP-Loop 使用期望值為0、標(biāo)準(zhǔn)差為0.07的高斯分佈來(lái)表示超點(diǎn)描述符的值。因此，超點(diǎn)的256維浮點(diǎn)描述子可以進(jìn)行二進(jìn)位編碼，以提高視覺(jué)位置辨識(shí)的查詢(xún)速度。二進(jìn)位編碼如等式4所示。

基本流程：在SLAM中的閉環(huán)檢測(cè)通常涉及三個(gè)關(guān)鍵階段：尋找初始閉環(huán)候選關(guān)鍵影格、驗(yàn)證閉環(huán)候選關(guān)鍵影格以及執(zhí)行閉環(huán)校正和全域捆綁調(diào)整（Bundle Adjustment，BA）。

啟動(dòng)過(guò)程的第一步是識(shí)別初始閉環(huán)候選關(guān)鍵影格。這透過(guò)利用先前訓(xùn)練的DBoW3詞袋模型來(lái)實(shí)現(xiàn)。辨識(shí)出與目前幀Ka具有共同詞彙的關(guān)鍵幀，但排除與Ka共同可見(jiàn)的關(guān)鍵幀。計(jì)算與這些候選關(guān)鍵影格相關(guān)的共同可見(jiàn)關(guān)鍵影格的總分。從閉環(huán)候選關(guān)鍵影格中得分最高的前N組中，選擇得分最高的關(guān)鍵影格。這個(gè)選定的關(guān)鍵幀，表示為Km。

接下來(lái)，需要確定從Km到目前關(guān)鍵影格Ka的相對(duì)姿態(tài)變換Tam。在ORB-SLAM3中，使用基於詞袋的特徵匹配方法來(lái)匹配當(dāng)前關(guān)鍵影格與候選關(guān)鍵影格Km及其共同可見(jiàn)的關(guān)鍵影格Kco。值得注意的是，由於lightglue演算法大大提高了匹配效率，因此將當(dāng)前幀與候選幀Km進(jìn)行匹配會(huì)產(chǎn)生高品質(zhì)的地圖點(diǎn)對(duì)應(yīng)。然後，應(yīng)用RANSAC演算法消除異常值，並求解Sim(3)變換以確定初始相對(duì)姿態(tài)Tam。為了避免錯(cuò)誤的位置識(shí)別，將對(duì)候選關(guān)鍵影格進(jìn)行幾何驗(yàn)證，後續(xù)步驟與ORB-SLAM3類(lèi)似。

實(shí)驗(yàn)比較分析