目標(biāo)追蹤是電腦視覺中一項重要任務(wù)，廣泛應(yīng)用於交通監(jiān)控、機器人、醫(yī)學(xué)影像、自動車輛追蹤等領(lǐng)域。它是透過深度學(xué)習(xí)方法，在確定了目標(biāo)物件的初始位置後，預(yù)測或估計影片中每個連續(xù)幀中目標(biāo)物件的位置。目標(biāo)追蹤在現(xiàn)實生活中有著廣泛的應(yīng)用，並且在電腦視覺領(lǐng)域具有重要意義。

目標(biāo)追蹤通常涉及目標(biāo)偵測的過程。以下是目標(biāo)追蹤步驟的簡要概述：

1.物件偵測，其中演算法透過在物件周圍建立邊界框來對物件進(jìn)行分類和偵測。

2.為每個物件指派唯一識別 (ID)。

3.在儲存相關(guān)資訊的同時追蹤偵測到的物件在影格中的移動。

目標(biāo)追蹤的類型

目標(biāo)追蹤有兩種類型：影像追蹤和視訊追蹤。

影像追蹤

影像追蹤是自動辨識和追蹤影像的任務(wù)。主要應(yīng)用於擴增實境(AR)領(lǐng)域。例如，當(dāng)透過相機輸入二維影像時，演算法會偵測二維平面影像，然後可用於疊加3D圖形物件。

影片追蹤

影片追蹤是追蹤影片中移動物件的任務(wù)。視訊追蹤的想法是關(guān)聯(lián)或建立目標(biāo)物件之間的關(guān)係，因為它出現(xiàn)在每個視訊幀中。換句話說，視訊追蹤是按順序分析視訊幀，並透過預(yù)測並在其周圍創(chuàng)建邊界框來將物件的過去位置與當(dāng)前位置拼接起來。

視訊追蹤廣泛用於交通監(jiān)控、自動駕駛汽車和安全，因為它可以處理即時鏡頭。

目標(biāo)追蹤過程的4個階段

# 階段一：目標(biāo)初始化

#涉及定義對像或目標(biāo)。結(jié)合了在影片的初始幀中圍繞它繪製邊界框的過程。然後追蹤器必須估計或預(yù)測物件在剩餘幀中的位置，同時繪製邊界框。

階段二：外觀建模

外觀建模涉及對物件的視覺外觀進(jìn)行建模。當(dāng)目標(biāo)物體經(jīng)過光照條件、角度、速度等各種場景時，可能會改變物體的外觀，並可能導(dǎo)致錯誤訊息和演算法失去對物體的追蹤。因此必須進(jìn)行外觀建模，以便建模演算法可以捕捉目標(biāo)物件移動時引入的各種變化和扭曲。

外觀建模由兩部分組成：

• 視覺表示：它著重於建構(gòu)可以描述物件的穩(wěn)健特徵和表示
• #統(tǒng)計建模：它使用統(tǒng)計學(xué)習(xí)技術(shù)來有效地建立用於物件辨識的數(shù)學(xué)模型。

階段三：運動估計

運動估計通常推斷模型的預(yù)測能力以準(zhǔn)確預(yù)測物體的未來位置。

階段四：目標(biāo)定位

一旦物件的位置被近似，我們就可以使用視覺模型來鎖定目標(biāo)的確切位置。

物件追蹤等級

物件追蹤可以定義為兩個層級：

單目標(biāo)追蹤(SOT)

單一目標(biāo)追蹤(SOT)旨在追蹤單一類別的物件而不是多個物件。有時也稱為視覺物件追蹤。在SOT中，目標(biāo)物件的邊界框在第一幀中定義。該演算法的目標(biāo)是在其餘幀中定位相同的物件。

SOT屬於免偵測追蹤的範(fàn)疇，因為必須手動提供追蹤器第一個邊界框。這意味著單對象追蹤器應(yīng)該能夠追蹤給定的任何對象，甚至是沒有訓(xùn)練可用分類模型的對象。

多目標(biāo)追蹤(MOT)

多目標(biāo)追蹤(MOT)是指追蹤演算法追蹤影片中每個感興趣的單一物件的方法。最初，追蹤演算法確定每個幀中的物件數(shù)量，然後追蹤每個物件從一幀到下一幀的身份，直到它們離開幀。

基於深度學(xué)習(xí)的目標(biāo)追蹤方法

目標(biāo)追蹤已經(jīng)引入了許多方法來提高追蹤模型的準(zhǔn)確性和效率。一些方法涉及經(jīng)典的機器學(xué)習(xí)方法，如k-最近鄰或支援向量機。而下面我們討論一些用於目標(biāo)追蹤任務(wù)的深度學(xué)習(xí)演算法。

MDNet

利用大規(guī)模資料進(jìn)行訓(xùn)練的目標(biāo)追蹤演算法。 MDNet由預(yù)先訓(xùn)練和線上視覺追蹤組成。

預(yù)訓(xùn)練：在預(yù)訓(xùn)練中，網(wǎng)路需要學(xué)習(xí)多域表示。為實現(xiàn)這一目標(biāo)，該演算法在多個註釋的影片上進(jìn)行訓(xùn)練，以學(xué)習(xí)表示和空間特徵。

線上視覺追蹤：一旦完成預(yù)訓(xùn)練，特定領(lǐng)域的層就會被移除，網(wǎng)路只剩下共享層，其中包含學(xué)習(xí)到的表徵。在推理過程中，添加了一個二元分類層，該層是在線訓(xùn)練或微調(diào)的。

這種技術(shù)節(jié)省了時間，而且它已被證明是一種有效的基於線上的追蹤演算法。

GOTURN

深度迴歸網(wǎng)路是基於離線訓(xùn)練的模型。此演算法學(xué)習(xí)物件運動和外觀之間的一般關(guān)係，可用於追蹤未出現(xiàn)在訓(xùn)練集中的物件。

使用迴歸網(wǎng)路或 GOTURN 的通用物件追蹤使用基於迴歸的方法來追蹤物件。本質(zhì)上，它們直接回歸以透過網(wǎng)路僅透過一次前饋來定位目標(biāo)物件。此網(wǎng)路接受兩個輸入：目前幀的搜尋區(qū)域和前一幀的目標(biāo)。網(wǎng)絡(luò)然後比較這些圖像以在當(dāng)前圖像中找到目標(biāo)對象。

ROLO

ROLO是循環(huán)神經(jīng)網(wǎng)路和YOLO的結(jié)合。通常，LSTM更適合與CNN結(jié)合使用。

ROLO結(jié)合了兩種神經(jīng)網(wǎng)路：一種是CNN，用於提取空間資訊；另一種是LSTM網(wǎng)絡(luò)，用於尋找目標(biāo)物體的軌跡。在每個時間步，空間資訊被提取並傳送到LSTM，然後LSTM會傳回被追蹤物件的位置。

DeepSORT

DeepSORT是最受歡迎的目標(biāo)追蹤演算法之一，它是SORT的擴充。

SORT是一種基於線上的追蹤演算法，使用卡爾曼濾波器在給定物件先前位置的情況下估計物件的位置?？柭鼮V波器對遮蔽非常有效。

了解了SORT後，我們可以結(jié)合深度學(xué)習(xí)技術(shù)來增強SORT演算法。深度神經(jīng)網(wǎng)路允許SORT以更高的精度估計物件的位置，因為這些網(wǎng)路現(xiàn)在可以描述目標(biāo)影像的特徵。

SiamMask

旨在改善全卷積Siamese網(wǎng)路的離線訓(xùn)練流程。 Siamese網(wǎng)路接受兩個輸入：裁剪圖像和更大的搜尋圖像以獲得密集的空間特徵表示。

Siamese網(wǎng)路產(chǎn)生一個輸出，它測量兩個輸入影像的相似性，並確定兩個影像中是否存在相同的物件。透過使用二進(jìn)制分割任務(wù)增加損失，該框架對於目標(biāo)追蹤非常有效。

JDE

JDE是單次偵測器，旨在解決多任務(wù)學(xué)習(xí)問題。 JDE在共享模型中學(xué)習(xí)目標(biāo)偵測和外觀嵌入。

JDE使用Darknet-53作為主幹，在每一層獲得特徵表示。然後使用上採樣和殘差連接融合這些特徵表示。然後將預(yù)測頭附加到融合特徵表示的頂部，從而產(chǎn)生密集的預(yù)測圖。為了執(zhí)行目標(biāo)跟蹤，JDE從預(yù)測頭生成邊界框類別和外觀嵌入。使用親和力矩陣將這些外觀嵌入與先前檢測到的物件的嵌入進(jìn)行比較。

Tracktor

Tracktor 是一種線上追蹤演算法。它使用物件檢測方法透過僅在檢測任務(wù)上訓(xùn)練神經(jīng)網(wǎng)路來執(zhí)行追蹤。本質(zhì)上是透過計算邊界框迴歸來預(yù)測下一幀中物件的位置。它不會對追蹤資料執(zhí)行任何訓(xùn)練或優(yōu)化。

Tracktor 的目標(biāo)偵測器通常是具有101層ResNet和FPN的Faster R-CNN。它使用Faster R-CNN的回歸分支從當(dāng)前幀中提取特徵。

以上是電腦視覺中的目標(biāo)追蹤概念解讀的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！