目標跟蹤是計算機視覺中一項重要任務(wù)，廣泛應(yīng)用于交通監(jiān)控、機器人、醫(yī)學(xué)成像、自動車輛跟蹤等領(lǐng)域。它是通過深度學(xué)習(xí)方法，在確定了目標對象的初始位置后，預(yù)測或估計視頻中每個連續(xù)幀中目標對象的位置。目標跟蹤在現(xiàn)實生活中有著廣泛的應(yīng)用，并且在計算機視覺領(lǐng)域具有重要意義。

目標跟蹤通常涉及目標檢測的過程。以下是目標跟蹤步驟的簡要概述：

1.對象檢測，其中算法通過在對象周圍創(chuàng)建邊界框來對對象進行分類和檢測。

2.為每個對象分配唯一標識 (ID)。

3.在存儲相關(guān)信息的同時跟蹤檢測到的對象在幀中的移動。

目標跟蹤的類型

目標跟蹤有兩種類型：圖像跟蹤和視頻跟蹤。

圖像跟蹤

圖像跟蹤是自動識別和跟蹤圖像的任務(wù)。 主要應(yīng)用于增強現(xiàn)實(AR)領(lǐng)域。例如，當通過相機輸入二維圖像時，該算法會檢測二維平面圖像，然后可將其用于疊加3D圖形對象。

視頻追蹤

視頻跟蹤是跟蹤視頻中移動對象的任務(wù)。 視頻跟蹤的思想是關(guān)聯(lián)或建立目標對象之間的關(guān)系，因為它出現(xiàn)在每個視頻幀中。換句話說，視頻跟蹤是按順序分析視頻幀，并通過預(yù)測并在其周圍創(chuàng)建邊界框來將對象的過去位置與當前位置拼接起來。

視頻跟蹤廣泛用于交通監(jiān)控、自動駕駛汽車和安全，因為它可以處理實時鏡頭。

目標跟蹤過程的4個階段

階段一：目標初始化

涉及定義對象或目標。結(jié)合了在視頻的初始幀中圍繞它繪制邊界框的過程。然后跟蹤器必須估計或預(yù)測對象在剩余幀中的位置，同時繪制邊界框。

階段二：外觀建模

外觀建模涉及對對象的視覺外觀進行建模。當目標物體經(jīng)過光照條件、角度、速度等各種場景時，可能會改變物體的外觀，并可能導(dǎo)致錯誤信息和算法失去對物體的跟蹤。 因此必須進行外觀建模，以便建模算法可以捕獲目標對象移動時引入的各種變化和扭曲。

外觀建模由兩部分組成：

• 視覺表示：它側(cè)重于構(gòu)建可以描述對象的魯棒特征和表示
• 統(tǒng)計建模：它使用統(tǒng)計學(xué)習(xí)技術(shù)來有效地建立用于對象識別的數(shù)學(xué)模型。

階段三：運動估計

運動估計通常推斷模型的預(yù)測能力以準確預(yù)測對象的未來位置。

階段四：目標定位

一旦對象的位置被近似，我們就可以使用視覺模型來鎖定目標的確切位置。

對象跟蹤級別

對象跟蹤可以定義為兩個級別：

單目標跟蹤(SOT)

單目標跟蹤(SOT)旨在跟蹤單個類的對象而不是多個對象。有時也稱為視覺對象跟蹤。 在SOT中，目標對象的邊界框在第一幀中定義。該算法的目標是在其余幀中定位相同的對象。

SOT屬于免檢測跟蹤的范疇，因為必須手動向跟蹤器提供第一個邊界框。這意味著單對象跟蹤器應(yīng)該能夠跟蹤給定的任何對象，甚至是沒有訓(xùn)練可用分類模型的對象。

多目標跟蹤(MOT)

多目標跟蹤(MOT)是指跟蹤算法跟蹤視頻中每個感興趣的單個對象的方法。 最初，跟蹤算法確定每個幀中的對象數(shù)量，然后跟蹤每個對象從一幀到下一幀的身份，直到它們離開幀。

基于深度學(xué)習(xí)的目標跟蹤方法

目標跟蹤已經(jīng)引入了許多方法來提高跟蹤模型的準確性和效率。一些方法涉及經(jīng)典的機器學(xué)習(xí)方法，如k-最近鄰或支持向量機。而下面我們討論一些用于目標跟蹤任務(wù)的深度學(xué)習(xí)算法。

MDNet

利用大規(guī)模數(shù)據(jù)進行訓(xùn)練的目標跟蹤算法。MDNet由預(yù)訓(xùn)練和在線視覺跟蹤組成。

預(yù)訓(xùn)練：在預(yù)訓(xùn)練中，網(wǎng)絡(luò)需要學(xué)習(xí)多域表示。為實現(xiàn)這一目標，該算法在多個帶注釋的視頻上進行訓(xùn)練，以學(xué)習(xí)表示和空間特征。

在線視覺跟蹤：一旦完成預(yù)訓(xùn)練，特定領(lǐng)域的層就會被移除，網(wǎng)絡(luò)只剩下共享層，其中包含學(xué)習(xí)到的表征。在推理過程中，添加了一個二進制分類層，該層是在線訓(xùn)練或微調(diào)的。

這種技術(shù)節(jié)省了時間，而且它已被證明是一種有效的基于在線的跟蹤算法。

GOTURN

深度回歸網(wǎng)絡(luò)是基于離線訓(xùn)練的模型。該算法學(xué)習(xí)對象運動和外觀之間的一般關(guān)系，可用于跟蹤未出現(xiàn)在訓(xùn)練集中的對象。

使用回歸網(wǎng)絡(luò)或 GOTURN 的通用對象跟蹤使用基于回歸的方法來跟蹤對象。本質(zhì)上，它們直接回歸以通過網(wǎng)絡(luò)僅通過一次前饋來定位目標對象。 該網(wǎng)絡(luò)接受兩個輸入：當前幀的搜索區(qū)域和前一幀的目標。網(wǎng)絡(luò)然后比較這些圖像以在當前圖像中找到目標對象。

ROLO

ROLO是循環(huán)神經(jīng)網(wǎng)絡(luò)和YOLO的結(jié)合。通常，LSTM更適合與CNN結(jié)合使用。

ROLO結(jié)合了兩種神經(jīng)網(wǎng)絡(luò)：一種是CNN，用于提取空間信息；另一種是LSTM網(wǎng)絡(luò)，用于尋找目標物體的軌跡。 在每個時間步，空間信息被提取并發(fā)送到LSTM，然后LSTM返回被跟蹤對象的位置。

DeepSORT

DeepSORT是最流行的目標跟蹤算法之一，它是SORT的擴展。

SORT是一種基于在線的跟蹤算法，使用卡爾曼濾波器在給定對象先前位置的情況下估計對象的位置?？柭鼮V波器對遮擋非常有效。

了解了SORT后，我們可以結(jié)合深度學(xué)習(xí)技術(shù)來增強SORT算法。深度神經(jīng)網(wǎng)絡(luò)允許SORT以更高的精度估計對象的位置，因為這些網(wǎng)絡(luò)現(xiàn)在可以描述目標圖像的特征。

SiamMask

旨在改進全卷積Siamese網(wǎng)絡(luò)的離線訓(xùn)練過程。Siamese網(wǎng)絡(luò)接受兩個輸入：裁剪圖像和更大的搜索圖像以獲得密集的空間特征表示。

Siamese網(wǎng)絡(luò)產(chǎn)生一個輸出，它測量兩個輸入圖像的相似性，并確定兩個圖像中是否存在相同的對象。通過使用二進制分割任務(wù)增加損失，該框架對于目標跟蹤非常有效。

JDE

JDE是一種單次檢測器，旨在解決多任務(wù)學(xué)習(xí)問題。JDE在共享模型中學(xué)習(xí)目標檢測和外觀嵌入。

JDE使用Darknet-53作為主干，在每一層獲得特征表示。然后使用上采樣和殘差連接融合這些特征表示。然后將預(yù)測頭附加到融合特征表示的頂部，從而產(chǎn)生密集的預(yù)測圖。為了執(zhí)行目標跟蹤，JDE從預(yù)測頭生成邊界框類和外觀嵌入。使用親和力矩陣將這些外觀嵌入與先前檢測到的對象的嵌入進行比較。

Tracktor++

Tracktor++是一種在線跟蹤算法。它使用對象檢測方法通過僅在檢測任務(wù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)來執(zhí)行跟蹤。 本質(zhì)上是通過計算邊界框回歸來預(yù)測下一幀中對象的位置。它不會對跟蹤數(shù)據(jù)執(zhí)行任何訓(xùn)練或優(yōu)化。

Tracktor++的目標檢測器通常是具有101層ResNet和FPN的Faster R-CNN。它使用Faster R-CNN的回歸分支從當前幀中提取特征。

以上是計算機視覺中的目標跟蹤概念解讀的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！