オブジェクト追跡はコンピュータ ビジョンにおける重要なタスクであり、交通監(jiān)視、ロボット工學(xué)、醫(yī)療畫(huà)像処理、自動(dòng)車両追跡などの分野で広く使用されています。深層學(xué)習(xí)手法を使用して、ターゲット オブジェクトの初期位置を決定した後、ビデオ內(nèi)の連続する各フレーム內(nèi)のターゲット オブジェクトの位置を予測(cè)または推定します。オブジェクト追跡は実生活において幅広い用途があり、コンピュータ ビジョンの分野でも非常に重要です。

オブジェクト追跡には、通常、オブジェクト検出のプロセスが含まれます。オブジェクト追跡手順の概要は次のとおりです:

1. オブジェクト検出では、アルゴリズムがオブジェクトの周囲に境界ボックスを作成することによってオブジェクトを分類および検出します。

2. 各オブジェクトに一意の識(shí)別 (ID) を割り當(dāng)てます。

3. 検出されたオブジェクトの動(dòng)きをフレーム単位で追跡し、関連情報(bào)を保存します。

ターゲット追跡の種類

ターゲット追跡には、畫(huà)像追跡とビデオ追跡の 2 種類があります。

畫(huà)像追跡

畫(huà)像追跡は、畫(huà)像を自動(dòng)的に識(shí)別して追跡するタスクです。主に拡張現(xiàn)実（AR）の分野で使用されます。たとえば、カメラを介して 2D 畫(huà)像が供給されると、アルゴリズムは 2D 平面畫(huà)像を検出し、それを 3D グラフィック オブジェクトのオーバーレイに使用できます。

ビデオ トラッキング

ビデオ トラッキングは、ビデオ內(nèi)の移動(dòng)オブジェクトを追跡するタスクです。ビデオ トラッキングの考え方は、各ビデオ フレームに表示されるターゲット オブジェクトを関連付けたり、それらの間の関係を確立したりすることです。言い換えれば、ビデオ トラッキングはビデオ フレームを順?lè)朔治訾?、オブジェクトの周囲に境界ボックスを予測(cè)して作成することで、オブジェクトの過(guò)去の位置と現(xiàn)在の位置をつなぎ合わせます。

ビデオ追跡は、リアルタイム映像を処理できるため、交通監(jiān)視、自動(dòng)運(yùn)転車、セキュリティで広く使用されています。

ターゲット追跡プロセスの 4 つの段階

フェーズ 1: ターゲットの初期化

定義オブジェクトまたは目標(biāo)。ビデオの最初のフレームの周囲に境界ボックスを描畫(huà)するプロセスと組み合わせます。トラッカーは、境界ボックスを描畫(huà)しながら、殘りのフレーム內(nèi)のオブジェクトの位置を推定または予測(cè)する必要があります。

フェーズ 2: 外観モデリング

外観モデリングには、オブジェクトの視覚的な外観のモデリングが含まれます。ターゲット オブジェクトが照明條件、角度、速度などのさまざまなシナリオを通過(guò)すると、オブジェクトの外観が変化し、エラー メッセージが表示され、アルゴリズムがオブジェクトの追跡を失う可能性があります。したがって、ターゲット オブジェクトが移動(dòng)するときに生じるさまざまな変化や歪みをモデリング アルゴリズムで捉えることができるように、外観モデリングが必要になります。

#外観モデリングは 2 つの部分で構(gòu)成されます:

視覚的表現(xiàn): オブジェクトを説明できる堅(jiān)牢な機(jī)能と表現(xiàn)の構(gòu)築に焦點(diǎn)を當(dāng)てます
• 統(tǒng)計(jì)モデリング: 統(tǒng)計(jì)學(xué)習(xí)技術(shù)を使用して、物體認(rèn)識(shí)のための數(shù)學(xué)的モデルを効率的に構(gòu)築します。

フェーズ 3: 動(dòng)き推定

動(dòng)き推定では、通常、モデルの予測(cè)機(jī)能を外挿して、オブジェクトの將來(lái)の位置を正確に予測(cè)します。

フェーズ 4: ターゲットの位置特定

オブジェクトの位置が概算されると、視覚モデルを使用してターゲットの正確な位置を特定できます。

オブジェクト追跡レベル

オブジェクト追跡は 2 つのレベルとして定義できます:

単一ターゲット追跡 (SOT)

単一オブジェクト追跡 (SOT) は、複數(shù)のオブジェクトではなく単一クラスのオブジェクトを追跡するように設(shè)計(jì)されています。視覚オブジェクト追跡と呼ばれることもあります。 SOT では、ターゲット オブジェクトのバウンディング ボックスが最初のフレームで定義されます。このアルゴリズムの目的は、殘りのフレームで同じオブジェクトを見(jiàn)つけることです。

SOT は、最初の境界ボックスをトラッカーに手動(dòng)で提供する必要があるため、検出不要の追跡のカテゴリに分類されます。これは、単一のオブジェクト トラッカーで、トレーニングに使用できる分類モデルが存在しないオブジェクトであっても、任意のオブジェクトを追跡できる必要があることを意味します。

複數(shù)オブジェクト追跡 (MOT)

複數(shù)オブジェクト追跡 (MOT) とは、追跡アルゴリズムがビデオ內(nèi)の対象となる個(gè)々のオブジェクトを追跡する方法を指します。最初に、追跡アルゴリズムは各フレーム內(nèi)のオブジェクトの數(shù)を決定し、次に各オブジェクトのアイデンティティをフレームから離れるまで 1 つのフレームから次のフレームに追跡します。

#深層學(xué)習(xí)に基づくターゲット追跡手法

ターゲット追跡では、追跡モデルの精度を向上させるために多くの手法が導(dǎo)入されています。セックスと効率。一部の方法には、k 最近傍法やサポート ベクター マシンなどの古典的な機(jī)械學(xué)習(xí)方法が含まれます。以下では、ターゲット追跡タスクのためのいくつかの深層學(xué)習(xí)アルゴリズムについて説明します。

MDNet

大規(guī)模なデータをトレーニングに利用するターゲット追跡アルゴリズム。 MDNet は、事前トレーニングとオンライン視覚追跡で構(gòu)成されます。

事前トレーニング: 事前トレーニングでは、ネットワークはマルチドメイン表現(xiàn)を?qū)W習(xí)する必要があります。この目標(biāo)を達(dá)成するために、アルゴリズムは複數(shù)の注釈付きビデオでトレーニングされ、表現(xiàn)と空間的特徴を?qū)W習(xí)します。

オンライン視覚追跡: 事前トレーニングが完了すると、ドメイン固有のレイヤーが削除され、學(xué)習(xí)された表現(xiàn)を含む共有レイヤーのみがネットワークに殘ります。推論中に、バイナリ分類レイヤーが追加され、オンラインでトレーニングまたは微調(diào)整されます。

この手法は時(shí)間を節(jié)約し、効果的なオンラインベースの追跡アルゴリズムであることが証明されています。

GOTURN

深層回帰ネットワークは、オフライン トレーニングに基づいたモデルです。このアルゴリズムは、オブジェクトの動(dòng)きと外観の間の一般的な関係を?qū)W習(xí)し、トレーニング セットに表示されないオブジェクトを追跡するために使用できます。

回帰ネットワーク (GOTURN) を使用した汎用オブジェクト追跡では、回帰ベースのアプローチを使用してオブジェクトを追跡します?；镜膜恕ⅴ庭氓去铹`クを介した 1 つのフィードフォワード パスのみでターゲット オブジェクトを見(jiàn)つけるために直接回帰します。ネットワークは、現(xiàn)在のフレームの検索エリアと前のフレームのターゲットという 2 つの入力を受け入れます。次に、ネットワークはこれらの畫(huà)像を比較して、現(xiàn)在の畫(huà)像內(nèi)のターゲット オブジェクトを見(jiàn)つけます。

ROLO

ROLO はリカレント ニューラル ネットワークと YOLO を組み合わせたものです。一般に、LSTM は CNN と組み合わせて使用??するのに適しています。

ROLO は 2 つのニューラル ネットワークを組み合わせたものです: 1 つは空間情報(bào)の抽出に使用される CNN、もう 1 つはターゲット オブジェクトの軌道の検索に使用される LSTM ネットワークです。各タイム ステップで、空間情報(bào)が抽出されて LSTM に送信され、追跡されたオブジェクトの位置が返されます。

DeepSORT

DeepSORT は、最も人気のあるターゲット追跡アルゴリズムの 1 つであり、SORT の拡張機(jī)能です。

SORT は、カルマン フィルターを使用して、オブジェクトの以前の位置を考慮してその位置を推定する、オンライン ベースの追跡アルゴリズムです。カルマン フィルターはオクルージョンに対して非常に効果的です。

SORT を理解した後、深層學(xué)習(xí)テクノロジーを組み合わせて SORT アルゴリズムを強(qiáng)化できます。ディープ ニューラル ネットワークではターゲット畫(huà)像の特徴を記述することができるため、SORT はオブジェクトの位置をより正確に推定できます。

SiamMask

は、完全畳み込みシャム ネットワークのオフライン トレーニング プロセスを改善するように設(shè)計(jì)されています。 Siamese ネットワークは、密な空間特徴表現(xiàn)を取得するために、トリミングされた畫(huà)像とより大きな検索畫(huà)像の 2 つの入力を受け入れます。

シャム ネットワークは、2 つの入力畫(huà)像の類似性を測(cè)定し、同じオブジェクトが両方の畫(huà)像に存在するかどうかを判斷する出力を生成します。バイナリ セグメンテーション タスクを使用して損失を増やすことにより、このフレームワークはオブジェクト追跡に非常に効果的です。

JDE

JDE は、マルチタスクの學(xué)習(xí)問(wèn)題を解決するために設(shè)計(jì)されたシングルショット検出器です。 JDE は、オブジェクトの検出と共有モデルへの外観の埋め込みを?qū)W習(xí)します。

JDE は、バックボーンとして Darknet-53 を使用して、各レイヤーでの特徴表現(xiàn)を取得します。これらの特徴表現(xiàn)は、アップサンプリングと殘差接続を使用して融合されます。次に、予測(cè)ヘッダーが融合された特徴表現(xiàn)の上に追加され、高密度の予測(cè)マップが生成されます。オブジェクト追跡を?qū)g行するために、JDE は予測(cè)ヘッドからバウンディング ボックス クラスと外観の埋め込みを生成します。これらの外観の埋め込みは、類似性行列を使用して以前に検出されたオブジェクトの埋め込みと比較されます。

Tracktor

Tracktor は、オンライン追跡アルゴリズムです。オブジェクト検出メソッドを使用して、検出タスクのみでニューラル ネットワークをトレーニングすることで追跡を?qū)g行します。基本的に、境界ボックス回帰を計(jì)算することにより、次のフレーム內(nèi)のオブジェクトの位置を予測(cè)します。追跡データに対してトレーニングや最適化は実行されません。

Tracktor のオブジェクト検出器は通常、101 層の ResNet と FPN を備えた Faster R-CNN です。 Faster R-CNN の回帰ブランチを使用して、現(xiàn)在のフレームから特徴を抽出します。

以上がコンピュータビジョンにおけるターゲット追跡の概念の解釈の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。