軌跡預(yù)測(cè)近兩年風(fēng)頭正猛，但大都聚焦於車(chē)輛軌跡預(yù)測(cè)方向，自動(dòng)駕駛之心今天就為大家分享頂會(huì)NeurIPS上關(guān)於行人軌跡預(yù)測(cè)的演算法—SHENet，在受限場(chǎng)景中人類(lèi)的移動(dòng)模式通常在一定程度上符合有限的規(guī)律?；哆@個(gè)假設(shè)，SHENet透過(guò)學(xué)習(xí)隱含的場(chǎng)景規(guī)律來(lái)預(yù)測(cè)一個(gè)人的未來(lái)軌跡。文章已經(jīng)授權(quán)自動(dòng)駕駛之心原創(chuàng)！

筆者的個(gè)人理解

由於人類(lèi)運(yùn)動(dòng)的隨機(jī)性和主觀性，當(dāng)前預(yù)測(cè)一個(gè)人的未來(lái)軌跡仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題。然而，由於場(chǎng)景限制（例如平面圖、道路和障礙物）以及人與人或人與物體的互動(dòng)性，在受限場(chǎng)景中人類(lèi)的移動(dòng)模式通常在一定程度上符合有限的規(guī)律。因此，在這種情況下，個(gè)人的軌跡也應(yīng)該遵循其中一個(gè)規(guī)律。換句話(huà)說(shuō)，一個(gè)人後來(lái)的軌跡很可能已經(jīng)被其他人走過(guò)了?；哆@個(gè)假設(shè)，本文的演算法（SHENet）透過(guò)學(xué)習(xí)隱含的場(chǎng)景規(guī)律來(lái)預(yù)測(cè)一個(gè)人的未來(lái)軌跡。具體來(lái)說(shuō)我們將場(chǎng)景中人和環(huán)境的過(guò)去動(dòng)態(tài)所固有的規(guī)律性稱(chēng)為場(chǎng)景史。進(jìn)而將場(chǎng)景歷史資訊分為兩類(lèi)：歷史群體軌跡與個(gè)體與環(huán)境的交互作用。為了利用這兩種類(lèi)型的信息進(jìn)行軌跡預(yù)測(cè)，本文提出了一種新穎的框架場(chǎng)景歷史挖掘網(wǎng)路（SHENet），其中以簡(jiǎn)單而有效的方法利用場(chǎng)景歷史。特別是設(shè)計(jì)的兩個(gè)組件：群體軌跡庫(kù)模組，用於提取代表性群體軌跡作為未來(lái)路徑的候選者；交叉模態(tài)交互模組，用於對(duì)個(gè)體過(guò)去軌跡與其周?chē)h(huán)境之間的交互進(jìn)行建模，以進(jìn)行軌跡細(xì)化。另外為了減輕上述人體運(yùn)動(dòng)的隨機(jī)性和主觀性所引起的真值軌跡的不確定性，SHENet將平滑度納入訓(xùn)練過(guò)程和評(píng)估指標(biāo)中。最終我們?cè)诓煌瑢?shí)驗(yàn)數(shù)據(jù)集上進(jìn)行了驗(yàn)證，與SOTA方法相比，展示了卓越的性能。

介紹

人類(lèi)軌跡預(yù)測(cè)（HTP）旨在從影片片段中預(yù)測(cè)目標(biāo)人的未來(lái)路徑。這對(duì)於智慧交通至關(guān)重要，因?yàn)樗管?chē)輛能夠提前感知行人的狀態(tài)，從而避免潛在的碰撞。具有HTP功能的監(jiān)控系統(tǒng)可以協(xié)助安全人員預(yù)測(cè)嫌疑人可能的逃跑路徑。儘管近年來(lái)已經(jīng)做了很多工作，但很少有足夠可靠和可推廣到現(xiàn)實(shí)世界場(chǎng)景中的應(yīng)用，這主要是由於任務(wù)的兩個(gè)挑戰(zhàn)：隨機(jī)性和人體運(yùn)動(dòng)的主觀性。然而，在受限的現(xiàn)實(shí)世界場(chǎng)景中，挑戰(zhàn)並非絕對(duì)棘手。如圖1 所示，給定該場(chǎng)景中先前捕獲的視頻，目標(biāo)人的未來(lái)軌跡（紅色框）變得更加可預(yù)測(cè)，因?yàn)槿祟?lèi)的移動(dòng)模式通常符合該場(chǎng)景中目標(biāo)人將遵循的幾個(gè)基本規(guī)律。因此，要預(yù)測(cè)軌跡，我們首先需要了解這些規(guī)律。我們認(rèn)為，這些規(guī)律性隱含地編碼在歷史人類(lèi)軌跡（圖 1 左）、個(gè)體過(guò)去的軌跡、周?chē)h(huán)境以及它們之間的相互作用（圖 1 右）中，我們稱(chēng)之為場(chǎng)景歷史。

圖 1：利用場(chǎng)景歷史的示意圖：歷史群體軌跡和個(gè)體環(huán)境交互，用於人類(lèi)軌跡預(yù)測(cè)。

我們將歷史資訊分為兩類(lèi)：歷史群體軌跡（HGT）和個(gè)體與環(huán)境互動(dòng)（ISI）。 HGT是指一個(gè)場(chǎng)景中所有歷史軌跡的群體代表。使用HGT的原因是，鑑於場(chǎng)景中的新目標(biāo)人，由於上述隨機(jī)性，他/她的路徑更有可能與其中一個(gè)群體軌跡比歷史軌蹟?shù)娜魏螁我粚?shí)例具有更多相似性、主觀性、規(guī)律性。然而，群體軌跡與個(gè)體過(guò)去的狀態(tài)和對(duì)應(yīng)環(huán)境的相關(guān)性較小，也會(huì)??影響個(gè)體未來(lái)的軌跡。 ISI 需要透過(guò)提取上下文資訊來(lái)更全面地利用歷史資訊。現(xiàn)有的方法很少考慮個(gè)體過(guò)去軌跡和歷史軌跡之間的相似性。大多數(shù)嘗試僅探索個(gè)體與環(huán)境的交互，其中花費(fèi)了大量精力對(duì)個(gè)體軌跡、環(huán)境的語(yǔ)義訊息以及它們之間的關(guān)係進(jìn)行建模。儘管MANTRA使用以重構(gòu)方式訓(xùn)練的編碼器來(lái)對(duì)相似性進(jìn)行建模，而MemoNet透過(guò)儲(chǔ)存歷史軌蹟?shù)囊鈭D來(lái)簡(jiǎn)化相似性，但它們都在實(shí)例層級(jí)而不是群組層級(jí)上執(zhí)行相似性計(jì)算，從而使其對(duì)受過(guò)訓(xùn)練的編碼器的能力敏感?；渡鲜龇治?，我們提出了一個(gè)簡(jiǎn)單而有效的框架，場(chǎng)景歷史挖掘網(wǎng)絡(luò)（SHENet），共同利用 HGT 和 ISI 進(jìn)行 HTP。特別是，該框架由兩個(gè)主要組成部分組成：（i）群體軌跡庫(kù)（GTB）模組，以及（ii）跨模式互動(dòng)（CMI）模組。 GTB從所有歷史個(gè)體軌跡中建立代表性群體軌跡，並為未來(lái)軌跡預(yù)測(cè)提供候選路徑。 CMI 對(duì)觀察到的個(gè)體軌跡和周?chē)h(huán)境分別進(jìn)行編碼，並使用跨模態(tài)轉(zhuǎn)換器對(duì)它們的交互作用進(jìn)行建模，以細(xì)化搜尋到的候選軌跡。

此外，為了減輕上述兩個(gè)特徵（即隨機(jī)性和主觀性）的不確定性，我們?cè)谟?xùn)練過(guò)程和當(dāng)前評(píng)估指標(biāo)，平均和最終位移誤差（即ADE 和FDE）中引入曲線(xiàn)平滑（CS），從而得到兩個(gè)新指標(biāo)CS-ADE 和CS-FDE。此外，為了促進(jìn) HTP 研究的發(fā)展，我們收集了一個(gè)具有不同運(yùn)動(dòng)模式的新的具有挑戰(zhàn)性的資料集，名為 PAV。該資料集是透過(guò)從 MOT15 資料集中選擇具有固定攝影機(jī)視圖和複雜人體運(yùn)動(dòng)的影片來(lái)獲得的。

這項(xiàng)工作的貢獻(xiàn)可以總結(jié)如下：1）我們引入群體歷史來(lái)搜尋 HTP 的個(gè)體軌跡。 2）我們提出了一個(gè)簡(jiǎn)單而有效的框架，SHENet，共同利用兩種類(lèi)型的場(chǎng)景歷史（即歷史群體軌跡和個(gè)體與環(huán)境的互動(dòng)）進(jìn)行HTP。 3）我們建構(gòu)了一個(gè)新的具有挑戰(zhàn)性的資料集PAV； 此外，考慮到人類(lèi)移動(dòng)模式的隨機(jī)性和主觀性，提出了一種新穎的損失函數(shù)和兩種新的指標(biāo)，以實(shí)現(xiàn)更好的基準(zhǔn)HTP 性能。 4）我們對(duì)ETH、UCY和PAV進(jìn)行了全面的實(shí)驗(yàn)，以證明SHENet的優(yōu)越性能以及每個(gè)組件的功效。

相關(guān)工作

單一模態(tài)方法?單一模態(tài)方法依賴(lài)於從過(guò)去的軌跡中學(xué)習(xí)個(gè)體運(yùn)動(dòng)的規(guī)律性來(lái)預(yù)測(cè)未來(lái)的軌跡。例如，Social LSTM透過(guò)social pooling模組對(duì)個(gè)體軌跡之間的交互作用進(jìn)行建模。 STGAT使用注意力模組來(lái)學(xué)習(xí)空間互動(dòng)並為鄰居分配合理的重要性。 PIE 使用時(shí)間注意力模組來(lái)計(jì)算每個(gè)時(shí)間步觀察到的軌蹟?shù)闹匾浴?

多模態(tài)方法?此外，多模態(tài)方法也檢視了環(huán)境資訊對(duì) HTP 的影響。 SS-LSTM提出了一個(gè)場(chǎng)景互動(dòng)模組來(lái)捕捉場(chǎng)景的全局資訊。 Trajectron 使用圖結(jié)構(gòu)對(duì)軌跡進(jìn)行建模，並與環(huán)境資訊和其他個(gè)體互動(dòng)。 MANTRA利用外部記憶體來(lái)建模長(zhǎng)期依賴(lài)關(guān)係。它將歷史單智能體軌跡儲(chǔ)存在記憶體中，並對(duì)環(huán)境資訊進(jìn)行編碼，以從該記憶體中細(xì)化搜尋到的軌跡。

與先前工作的差異?單一模態(tài)和多模態(tài)方法都使用場(chǎng)景歷史的單一或部分方面，而忽略歷史組軌跡。在我們的工作中，我們以更全面的方式整合場(chǎng)景歷史信息，並提出專(zhuān)用模組來(lái)分別處理不同類(lèi)型的信息。我們的方法與先前的工作，特別是基於記憶體的方法和基於聚類(lèi)的方法之間的主要區(qū)別如下：i）MANTRA 和MemoNet 考慮歷史個(gè)體軌跡，而我們提出的SHENet關(guān)注歷史群體軌跡，這在不同場(chǎng)景下更具有普遍性。 ii) 還有一部分工作將人-鄰居分組以進(jìn)行軌跡預(yù)測(cè)；將軌跡聚類(lèi)為固定數(shù)量的類(lèi)別以進(jìn)行軌跡分類(lèi)； 我們的 SHENet 產(chǎn)生代表性軌跡作為個(gè)人軌跡預(yù)測(cè)的參考。

方法

整體介紹

所提出的場(chǎng)景歷史挖掘網(wǎng)路（SHENet）的架構(gòu)如圖2 所示，它由兩個(gè)主要元件組成：群組軌跡庫(kù)模組（GTB）和交叉模態(tài)交互模組（CMI）。形式上，給定該場(chǎng)景的觀察影片中的所有軌跡?、??場(chǎng)景影像以及目標(biāo)人??在最後時(shí)間步中的過(guò)去軌跡，其中表示第p 個(gè)人在時(shí)間步t 的位置, SHENet 要求預(yù)測(cè)行人在接下來(lái)的幀中的未來(lái)位置，使得盡可能接近真值軌跡。提出的 GTB 首先將??壓縮為代表群體軌跡。然後，將觀測(cè)到的軌跡作為key，在中搜尋最接近的代表群體軌跡，作為候選未來(lái)軌跡 ? 。同時(shí)，將過(guò)去的軌跡和場(chǎng)景影像分別傳到軌跡編碼器和場(chǎng)景編碼器，以分別產(chǎn)生軌跡特徵和場(chǎng)景特徵。編碼後的特徵被輸入到交叉模態(tài)transformer中，以學(xué)習(xí)和真值軌跡之間的偏移?。透過(guò)將??加入??#，我們得到最終的預(yù)測(cè)?。在訓(xùn)練階段，如果到的距離高於閾值，則人的軌跡（即和）將被添加到軌跡庫(kù)中。訓(xùn)練完成後，bank被固定用於推理。

圖 2：SHENet 的架構(gòu)由兩個(gè)元件組成：群組軌跡庫(kù)模組 (GTB) 和跨模態(tài)互動(dòng)模組 (CMI)。 GTB將所有歷史軌跡聚類(lèi)成一組代表性組軌跡，並為最終軌跡預(yù)測(cè)提供候選。在訓(xùn)練階段，GTB可以根據(jù)預(yù)測(cè)軌跡的誤差，將目標(biāo)人的軌跡納入群體軌跡庫(kù)中，以擴(kuò)展表達(dá)能力。 CMI將目標(biāo)人的過(guò)去軌跡和觀察到的場(chǎng)景分別作為軌跡編碼器和場(chǎng)景編碼器的輸入進(jìn)行特徵提取，然後透過(guò)跨模態(tài)轉(zhuǎn)換器有效地對(duì)過(guò)去軌跡與其周?chē)h(huán)境之間的交互進(jìn)行建模並進(jìn)行細(xì)化提供候選軌跡。

圖 3：交叉模數(shù)transformer圖示。軌跡特徵和場(chǎng)景特徵被輸入到交叉模態(tài)transformer中，以學(xué)習(xí)搜尋軌跡和真值軌跡之間的偏移。

群組軌跡庫(kù)模

群體軌跡庫(kù)模組（GTB）用於建構(gòu)場(chǎng)景中具有代表性的群體軌跡。 GTB的核心功能是bank初始化、軌跡搜尋和軌跡更新。

軌跡庫(kù)初始化?由於大量記錄的軌跡存在冗餘，我們不是簡(jiǎn)單地使用它們，而是產(chǎn)生一組稀疏且有代表性的軌跡作為軌跡庫(kù)的初始值。具體來(lái)說(shuō)，我們將訓(xùn)練資料中的軌跡表示為??並將每個(gè)??分成一對(duì)觀測(cè)軌跡??與未來(lái)軌跡?，從而將??分成觀測(cè)集??以及對(duì)應(yīng)的未來(lái)集合?。然後，我們計(jì)算，中每對(duì)軌跡之間的歐氏距離，並透過(guò)K-medoids聚類(lèi)演算法獲得軌跡簇。 ??的初始成員是屬於同一群集的軌跡的平均值（參見(jiàn)演算法 1，步驟 1）。中的每條軌跡都代表了一群人的移動(dòng)模式。

軌跡搜尋和更新?在群組軌跡庫(kù)中，每個(gè)軌跡都可以被視為過(guò)去-未來(lái)對(duì)。在數(shù)值上，?，其中??代表過(guò)去軌跡和未來(lái)軌跡的組合，?是??中過(guò)去未來(lái)對(duì)的數(shù)量。給定軌跡??，我們使用觀察到的??作為關(guān)鍵來(lái)計(jì)算其與??中過(guò)去軌跡??的相似度得分，並找到代表性軌跡??根據(jù)最大相似度得分（參見(jiàn)演算法1，步驟2）。相似度函數(shù)可以表示為：

透過(guò)將偏移量?（參見(jiàn)公式2）加入代表性軌跡??中，我們獲得了被觀察者的預(yù)測(cè)軌跡?（參見(jiàn)圖2）。雖然初始軌跡庫(kù)在大多數(shù)情況下效果很好，但為了提高庫(kù)?的泛化性（參見(jiàn)演算法1，步驟3），我們根據(jù)距離閾值θ 決定是否更新? 。

跨模態(tài)交互作用模組

此模組重點(diǎn)在於個(gè)體過(guò)去軌跡與環(huán)境訊息之間的交互作用。它由兩個(gè)單模態(tài)編碼器組成，分別用於學(xué)習(xí)人體運(yùn)動(dòng)和場(chǎng)景訊息，以及一個(gè)跨模態(tài)轉(zhuǎn)換器來(lái)建模它們的交互作用。

軌跡編碼器??軌跡編碼器採(cǎi)用來(lái)自 Transformer 網(wǎng)路 的多頭注意力結(jié)構(gòu)，其具有??自註意力（SA）層。 SA 層以??的大小捕捉不同時(shí)間步長(zhǎng)的人體運(yùn)動(dòng)，並將運(yùn)動(dòng)特徵從維度??投影到?，其中??是軌跡編碼器的嵌入維度。因此，我們使用軌跡編碼器來(lái)獲得人體運(yùn)動(dòng)表示：。

場(chǎng)景編碼器??由於預(yù)先訓(xùn)練的 Swin Transformer在特徵表示方面具有引人注目的性能，我們採(cǎi)用它作為場(chǎng)景編碼器。它提取大小為??的場(chǎng)景語(yǔ)義特徵，其中?（預(yù)訓(xùn)練場(chǎng)景編碼器中的?）是語(yǔ)義類(lèi)別的數(shù)量，例如人和道路，?和??是空間解析度。為了使後續(xù)模組能夠方便地融合運(yùn)動(dòng)表示和環(huán)境訊息，我們將語(yǔ)義特徵從大?。ǎ┲馗臑椋ǎ瑏K透過(guò)多層感知層將它們從維度（）投影到（) 。結(jié)果，我們使用場(chǎng)景編碼器??來(lái)獲得場(chǎng)景表示?。

交叉模態(tài)Transformer??單模態(tài)編碼器從其自身模態(tài)中提取特徵，忽略人體運(yùn)動(dòng)和環(huán)境訊息之間的相互作用。具有??層的交叉模態(tài)transformer旨在透過(guò)學(xué)習(xí)這種交互作用來(lái)細(xì)化候選軌跡?（請(qǐng)參閱第 3.2 節(jié)）。我們採(cǎi)用雙流結(jié)構(gòu)：一個(gè)用於捕捉受環(huán)境資訊約束的重要人體運(yùn)動(dòng)，另一個(gè)用於挑選與人體運(yùn)動(dòng)相關(guān)的環(huán)境資訊。交叉注意 (CA) 層和自註意 (SA) 層是跨模態(tài)轉(zhuǎn)換器的主要組成部分（見(jiàn)圖 3）。為了捕捉受環(huán)境影響的重要人體運(yùn)動(dòng)並獲取與運(yùn)動(dòng)相關(guān)的環(huán)境訊息，CA層將一種模態(tài)視為query，將另一種模態(tài)視為與兩種模態(tài)交互作用的key和value。 SA 層用於促進(jìn)更好的內(nèi)部連接，計(jì)算場(chǎng)景約束運(yùn)動(dòng)或運(yùn)動(dòng)相關(guān)環(huán)境資訊中元素（query）與其他元素（key）之間的相似性。因此，我們透過(guò)交叉模態(tài)transformer??來(lái)獲得多式聯(lián)運(yùn)表示（）。為了預(yù)測(cè)搜尋軌跡?與真實(shí)軌跡??之間的偏移量?，我們採(cǎi)用??的最後一個(gè)元素(LE)??和全域池化層(GPL) 之後的輸出??的?。偏移量??可以表述如下：

#其中 [; ] 表示向量串聯(lián)，MLP 為多層感知層。

我們端到端地訓(xùn)練 SHENet 的整體框架，以最小化目標(biāo)函數(shù)。在訓(xùn)練過(guò)程中，由於場(chǎng)景編碼器已經(jīng)在ADE20K 上進(jìn)行了預(yù)訓(xùn)練，因此我們凍結(jié)其分割部分並更新MLP頭的參數(shù)（請(qǐng)參閱第3.3節(jié)）。遵循現(xiàn)有的工作，我們計(jì)算了 ETH/UCY 資料集上的預(yù)測(cè)軌跡與真值軌跡之間的均方誤差（MSE）:?。

在更具挑戰(zhàn)性的 PAV 資料集中，我們使用曲線(xiàn)平滑（CS）回歸損失，這有助於減少個(gè)體偏差的影響。它計(jì)算軌跡平滑後的 MSE。 CS損失可以表述如下：

其中CS代表曲線(xiàn)平滑的函數(shù)[2]。

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)定

資料集?我們?cè)贓TH、UCY 、PAV 和史丹佛無(wú)人機(jī)資料集(SDD)資料集上評(píng)估我們的方法。單模態(tài)方法僅關(guān)注軌跡數(shù)據(jù)，然而，多模態(tài)方法需要考慮場(chǎng)景資訊。

與ETH/UCY 資料集相比，PAV 更具挑戰(zhàn)性，具有多種運(yùn)動(dòng)模式，包括PETS09-S2L1 (PETS) 、ADL-Rundle-6 (ADL) 和Venice-2 (VENICE) ，這些資料被捕獲來(lái)自靜態(tài)攝影機(jī)並為HTP 任務(wù)提供足夠的軌跡。我們將影片分為訓(xùn)練集（80%）和測(cè)試集（20%），PETS/ADL/VENICE 分別包含 2,370/2,935/4,200 個(gè)訓(xùn)練序列和 664/306/650 個(gè)測(cè)試序列。我們使用??個(gè)觀察幀來(lái)預(yù)測(cè)未來(lái)??幀，這樣我們就可以比較不同方法的長(zhǎng)時(shí)預(yù)測(cè)結(jié)果。

與 ETH/UCY 和 PAV 資料集不同，SDD 是在大學(xué)校園中鳥(niǎo)瞰捕獲的大規(guī)模資料集。它由多個(gè)互動(dòng)主體（例如行人、騎自行車(chē)的人和汽車(chē)）和不同的場(chǎng)景（例如人行道和十字路口）組成。按照先前的工作，我們使用過(guò)去的 8 幀來(lái)預(yù)測(cè)未來(lái)的 12 幀。

圖 4：我們提出的指標(biāo) CS-ADE 和 CS-FDE 的圖示。

圖 5：曲線(xiàn)平滑後一些樣本的視覺(jué)化。

評(píng)估指標(biāo)??對(duì)於ETH和UCY資料集，我們採(cǎi)用HTP的標(biāo)準(zhǔn)指標(biāo)：平均位移誤差（ADE）和最終位移誤差（FDE）。 ADE 是所有時(shí)間步上預(yù)測(cè)軌跡與真值軌跡之間的平均??誤差，F(xiàn)DE 是最終時(shí)間步預(yù)測(cè)軌跡與真值軌跡之間的?誤差。 PAV 中的軌跡存在一些抖動(dòng)現(xiàn)象（例如急轉(zhuǎn)彎）。因此，合理的預(yù)測(cè)可能會(huì)產(chǎn)生與使用傳統(tǒng)指標(biāo) ADE 和 FDE 進(jìn)行不切實(shí)際的預(yù)測(cè)大致相同的誤差（見(jiàn)圖 7(a)）。為了關(guān)注軌跡本身的模式和形狀，並減少隨機(jī)性和主觀性的影響，我們提出了CS-Metric：CS-ADE和CS-FDE（如圖4）。 CS-ADE 計(jì)算如下：

其中CS是曲線(xiàn)平滑函數(shù)，定義與3.4節(jié)的Lcs相同。與CS-ADE類(lèi)似，CS-FDE計(jì)算軌跡平滑後的最終位移誤差：

圖5 顯示了訓(xùn)練資料中的一些樣本，將粗糙的真值軌跡轉(zhuǎn)換為平滑的軌跡。

實(shí)作細(xì)部??在SHENet中，群組軌跡庫(kù)的初始大小設(shè)定為。軌跡編碼器和場(chǎng)景編碼器都有 4 個(gè)自註意力（SA）層?？缒B(tài) Transformer 有 6 個(gè) SA 層和交叉注意（CA）層。我們將所有嵌入維度設(shè)定為 512。對(duì)於軌跡編碼器，它學(xué)習(xí)大小為??的人體運(yùn)動(dòng)資訊（ETH/UCY 中?，PAV 中?）。對(duì)於場(chǎng)景編碼器，它輸出大小為 150 × 56 × 56 的語(yǔ)意特徵。我們將大小從 150 × 56 × 56 改為 150 × 3136，並將它們從維度 150 × 3136 投影到 150 × 512。我們訓(xùn)練 在 4 個(gè) NVIDIA Quadro RTX 6000 GPU 上建立 100 個(gè)週期的模型，並使用固定學(xué)習(xí)率 1e ? 5 的 Adam 優(yōu)化器。

消融實(shí)驗(yàn)

在表1 中，我們?cè)u(píng)估了SHENet 的每個(gè)組件，包括群組軌跡庫(kù)（GTB）模組和跨模態(tài)交互作用（CMI）模組，該模組包含軌跡編碼器（TE）、場(chǎng)景編碼器（SE）和跨模態(tài)交互作用（CMI）模組。

GTB 的影響??我們先研究 GTB 的表現(xiàn)。與 CMI（即 TE、SE 和 CMT）相比，GTB 在 PETS 上的 FDE 提高了 21.2%，這是一個(gè)顯著的改進(jìn)，說(shuō)明了 GTB 的重要性。然而，僅靠 GTB（表 1 第 1 行）是不夠的，甚至比 CMI 的表現(xiàn)還要差一些。因此，我們探討了CMI模組中各個(gè)部分的作用。 TE 和SE 的影響??為了評(píng)估TE 和SE 的效能，我們將從TE 中提取的軌跡特徵和從SE 中提取的場(chǎng)景特徵連接在一起（表1 中的第3 行），並以較小的運(yùn)動(dòng)提高ADL 和VENICE 的性能（與單獨(dú)使用TE。這表明將環(huán)境資訊納入軌跡預(yù)測(cè)可以提高結(jié)果的準(zhǔn)確性。CMT 的效果 ?與表1 的第三行相比，CMT（表1 的第4 行）可以顯著提高模型性能。值得注意的是，它的性能優(yōu)於PETS 上串聯(lián)的TE 和SE，ADE 提高了7.4%。與單獨(dú)的GTB 相比，完整的CMI 比ADE 平均提高了12.2%。

與SOTA比較

在 ETH/UCY 資料集上，將我們的模型與最先進(jìn)的方法進(jìn)行比較：SS-LSTM、Social-STGCN、MANTRA、AgentFormer、YNet。結(jié)果總結(jié)在表 2 中。我們的模型將平均 FDE 從 0.39 降低到 0.36，與最先進(jìn)的方法 YNet 相比，提高了 7.7%。特別是，當(dāng)軌跡發(fā)生較大移動(dòng)時(shí)，我們的模型在 ETH 上顯著優(yōu)於先前的方法，其 ADE 和 FDE 分別提高了 12.8% 和 15.3%。

表 2：ETH/UCY 資料集上最先進(jìn) (SOTA) 方法的比較。 * 表示我們使用比單模態(tài)方法更小的集合。採(cǎi)用前20最好的方式進(jìn)行評(píng)估。

表 3：在 PAV 資料集上與 SOTA 方法的比較。

為了評(píng)估我們的模型在長(zhǎng)期預(yù)測(cè)中的表現(xiàn)，我們?cè)赑AV 上進(jìn)行了實(shí)驗(yàn)，其中每個(gè)軌跡??個(gè)觀察幀，?個(gè)未來(lái)影格。表 3 顯示了與先前的 HTP 方法的效能比較：SS-LSTM、Social-STGCN、Next、MANTRA、YNet。與 YNet 的最新結(jié)果相比，所提出的 SHENet ?CS-ADE 和 CS-FDE 平均分別提高了 3.3% 和 10.5%。由於 YNet 預(yù)測(cè)軌蹟?shù)臒釄D，因此當(dāng)軌跡有小幅運(yùn)動(dòng)時(shí)（例如 VENICE），它的表現(xiàn)會(huì)更好一些。儘管如此，我們的方法在 VENICE 中仍然具有競(jìng)爭(zhēng)力，並且在具有較大運(yùn)動(dòng)和交叉點(diǎn)的 PETS 上比其他方法要好得多。特別是，與 YNet 相比，我們的方法在 PETS 上將 CS-FDE 提高了 16.2%。我們也在傳統(tǒng)的 ADE/FDE 指標(biāo)取得了巨大的進(jìn)步。

分析

距離閾值 θ??θ用於決定軌跡庫(kù)的更新。 θ的典型值是根據(jù)軌跡長(zhǎng)度設(shè)定。當(dāng)真值軌跡以像素計(jì)越長(zhǎng)時(shí)，預(yù)測(cè)誤差的絕對(duì)值通常越大。然而，它們的相對(duì)誤差是可比的。因此，當(dāng)誤差收斂時(shí)，θ被設(shè)定為訓(xùn)練誤差的75%。實(shí)驗(yàn)中，我們?cè)?PETS 中設(shè)定 θ = 25，在 ADL 中設(shè)定 θ = 6。由實(shí)驗(yàn)結(jié)果得到“75%的訓(xùn)練誤差”，如表4所示。

表 4：PAV 資料集上不同參數(shù) θ 的比較。結(jié)果是三種情況的平均值。

表 5：PAV 資料集上初始簇?cái)?shù) K 的比較。

K 中心點(diǎn)中的簇?cái)?shù)??我們研究了設(shè)定不同數(shù)量的初始簇K的效果，如表5所示。我們可以注意到，初始簇?cái)?shù)對(duì)預(yù)測(cè)結(jié)果並不敏感，尤其是初始簇?cái)?shù)為 24-36 時(shí)。因此，我們?cè)趯?shí)驗(yàn)中可以將K設(shè)定為32。

Bank複雜度分析??搜尋和更新的時(shí)間複雜度分別為O(N)和O(1)。它們的空間複雜度是O(N)。群體軌跡數(shù)N≤1000。聚類(lèi)過(guò)程的時(shí)間複雜度為ββ，空間複雜度為ββ。 ?β?是聚類(lèi)軌蹟?shù)臄?shù)量。 ??是聚類(lèi)的數(shù)量，?是聚類(lèi)方法的迭代次數(shù)。

圖 6：我們的方法和最先進(jìn)方法的定性視覺(jué)化。藍(lán)線(xiàn)是觀察到的軌跡。紅線(xiàn)和綠線(xiàn)顯示預(yù)測(cè)軌跡和真實(shí)軌跡。

圖 7：不使用/使用 CS 的定性視覺(jué)化。

定性結(jié)果

圖 6 展示了 SHENet 和其他方法的定性結(jié)果。相較之下，我們驚訝地註意到，在一個(gè)人走到路邊然後折返（綠色曲線(xiàn)）的極具挑戰(zhàn)性的情況下，所有其他方法都不能很好地處理，而我們提出的SHENet 仍然可以處理它。這應(yīng)該歸功於我們專(zhuān)門(mén)設(shè)計(jì)的歷史群體軌跡庫(kù)模組的作用。此外，與基於記憶的方法 MANTRA [20] 相比，我們搜尋群體的軌跡，而不僅僅是個(gè)體。這更加通用，可以應(yīng)用於更具挑戰(zhàn)性的場(chǎng)景。圖 7 包括 YNet 和我們的 SHENet 的定性結(jié)果，不含/帶曲線(xiàn)平滑 (CS)。第一行顯示使用 MSE 損失??的結(jié)果。受過(guò)去帶有一些噪音的軌跡（例如突然和急轉(zhuǎn)彎）的影響，YNet的預(yù)測(cè)軌跡點(diǎn)聚集在一起，不能呈現(xiàn)明確的方向，而我們的方法可以根據(jù)歷史群體軌跡提供潛在的路徑。這兩個(gè)預(yù)測(cè)在視覺(jué)上是不同的，但數(shù)值誤差 (ADE/FDE) 大致相同。相較之下，我們提出的 CS 損失??的定性結(jié)果如圖 7 的第二行?？梢钥吹?，提出的 CS 顯著降低了隨機(jī)性和主觀性的影響，並透過(guò)YNet 和我們的方法產(chǎn)生了合理的預(yù)測(cè)。

結(jié)論

本文提出了 SHENet，這是一種充分利用 HTP 場(chǎng)景歷史的新穎方法。 SHENet 包括一個(gè)GTB 模組，用於根據(jù)所有歷史軌跡建立一個(gè)群體軌跡庫(kù)，並從該庫(kù)中檢索被觀察者的代表性軌跡；還包括一個(gè)CMI 模組（在人體運(yùn)動(dòng)和環(huán)境資訊之間相互作用）來(lái)細(xì)化該代表性軌跡。我們?cè)?HTP 基準(zhǔn)上實(shí)現(xiàn)了 SOTA 效能，並且我們的方法在具有挑戰(zhàn)性的場(chǎng)景中展示了顯著的改進(jìn)和通用性。然而，目前框架中仍存在一些尚未探索的方面，例如bank建造過(guò)程目前僅關(guān)注人體運(yùn)動(dòng)。未來(lái)的工作包括使用互動(dòng)資訊（人體運(yùn)動(dòng)和場(chǎng)景資訊）進(jìn)一步探索軌跡庫(kù)。

原文連結(jié)：https://mp.weixin.qq.com/s/GE-t4LarwXJu2MC9njBInQ

以上是行人軌跡預(yù)測(cè)有哪些有效的方法和普遍的Base方法？頂會(huì)論文分享！的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！