簡(jiǎn)單介紹

研究作者提出了?Matrix Net (xNet)，一種用於目標(biāo)偵測(cè)的新深度架構(gòu)。 xNets將具有不同大小尺寸和縱橫比的目標(biāo)映射到網(wǎng)路層中，其中目標(biāo)在層內(nèi)的大小和縱橫比幾乎是均勻的。因此，xNets提供了一種尺寸和縱橫比感知結(jié)構(gòu)。研究者利用xNets增強(qiáng)基於關(guān)鍵點(diǎn)的目標(biāo)偵測(cè)。新的架構(gòu)實(shí)現(xiàn)了比任何其他單鏡頭偵測(cè)器的時(shí)效性高，具有47.8的mAP在MS COCO資料集，同時(shí)使用了一半的參數(shù)而且相比於第二好框架，其在訓(xùn)練上快了3倍。

簡(jiǎn)單結(jié)果展示

上圖所示，xNet的參數(shù)及效率要遠(yuǎn)遠(yuǎn)超過(guò)其它模型。其中FSAF在基於錨點(diǎn)的偵測(cè)器中效果是最好的，它超過(guò)了經(jīng)典的RetinaNet。研究者提出的模型在參數(shù)量類似的情況下表現(xiàn)超過(guò)了所有其他single-shot架構(gòu)。

背景及現(xiàn)狀

目標(biāo)偵測(cè)是電腦視覺(jué)中最廣泛研究的任務(wù)之一，具有許多應(yīng)用到其他視覺(jué)任務(wù)，如目標(biāo)追蹤、實(shí)例分割和圖片字幕。目標(biāo)偵測(cè)結(jié)構(gòu)可分為兩類：single-shot偵測(cè)器和two-stage偵測(cè)器。 Two-stage偵測(cè)器利用區(qū)域候選網(wǎng)路找到固定數(shù)量的目標(biāo)候選，然後使用第二個(gè)網(wǎng)路來(lái)預(yù)測(cè)每個(gè)候選的分?jǐn)?shù)並改善其邊界框。

常見的Two-stage演算法

#Single-shot偵測(cè)器也可以分為兩類：基於錨定的偵測(cè)器和基於關(guān)鍵點(diǎn)的偵測(cè)器?；跺^的偵測(cè)器包含許多錨點(diǎn)??邊界框，然後預(yù)測(cè)每個(gè)模板的偏移量和類別。最著名的基於錨的體系結(jié)構(gòu)是RetinaNet，它提出了focal損失函數(shù)，以幫助修正錨定邊界框的類別不平衡。性能最好的基於錨的探測(cè)器是FSAF。 FSAF將錨基輸出與無(wú)錨輸出頭整合在一起，以進(jìn)一步提高效能。

另一方面，基於關(guān)鍵點(diǎn)的偵測(cè)器可以預(yù)測(cè)左上角和右下角的熱圖，並使用特徵嵌入將它們匹配起來(lái)。最初的基於關(guān)鍵點(diǎn)的偵測(cè)器是CornerNet，它利用一個(gè)特殊的coener池化層來(lái)準(zhǔn)確地偵測(cè)不同大小的目標(biāo)。從那時(shí)起，Centerne透過(guò)預(yù)測(cè)目標(biāo)中心和角，大幅改進(jìn)了CornerNet體系結(jié)構(gòu)。

Matrix Nets

下圖所示為Matrix nets（xNets），使用分層矩陣建模具有不同大小和叢橫比的目標(biāo)，其中矩陣中的每個(gè)條目i、j 表示一個(gè)層li,j，矩陣左上角層l1,1 中寬度降採(cǎi)樣2^(i-1)，高度降採(cǎi)樣2^(j-1)。對(duì)角線層是不同大小的方形層，相當(dāng)於一個(gè) FPN，而非對(duì)角層是長(zhǎng)方形層（這是xNets所特有的）。?層l1,1是最大的層，每向右一步，層寬度減半，而每向下一步高度減半。

例如，層l3,4是層l3,3寬度的一半。對(duì)角層建模寬高比接近方形的目標(biāo)，而非對(duì)角層建模寬高比不接近方形的目標(biāo)。接近矩陣右上角或左下角的層建模寬高比極高或極低的目標(biāo)。這類目標(biāo)非常罕見，所以可以將它們剪枝以提升效率。

1、Layer Generation

產(chǎn)生矩陣層是一個(gè)關(guān)鍵的步驟，因?yàn)樗鼤?huì)影響模型參數(shù)的數(shù)量。參數(shù)越多，模型表達(dá)越強(qiáng)，優(yōu)化問(wèn)題越困難，因此研究者選擇盡可能少引入新的參數(shù)。對(duì)角線層可以從主幹的不同階段獲得，也可以使用特徵金字塔框架。上三角層是在對(duì)角線層上施加一系列具有1x2步長(zhǎng)的共享3x3卷積得到的。類似地，左下角層是使用具有2x1步長(zhǎng)的共享3x3卷積得到的。參數(shù)在所有下採(cǎi)樣卷積之間共享，以最小化新參數(shù)的數(shù)量。

2、層範(fàn)圍

矩陣中的每個(gè)層都對(duì)具有一定寬度和高度的目標(biāo)進(jìn)行建模，因此我們需要定義分配給矩陣中每個(gè)層的目標(biāo)的寬度和高度範(fàn)圍。範(fàn)圍需要反映矩陣層特徵向量的感受野。矩陣中向右的每一步都有效地使水平維度中的感受野加倍，而每一步都使垂直維度上的感受場(chǎng)加倍。因此，當(dāng)我們?cè)诰仃囍邢蛴一蛳蛳乱苿?dòng)時(shí)，寬度或高度的範(fàn)圍需要加倍。一旦定義了第一層l1,1的範(fàn)圍，我們就可以使用上述規(guī)則為矩陣層的其餘部分產(chǎn)生範(fàn)圍。

3、Matrix Nets的優(yōu)點(diǎn)

Matrix Nets的主要優(yōu)點(diǎn)是它們?cè)试S方形卷積核準(zhǔn)確地收集有關(guān)不同縱橫比的資訊。在傳統(tǒng)的目標(biāo)偵測(cè)模型中，如RetinaNet，需要一個(gè)方形卷積核來(lái)輸出不同的長(zhǎng)寬比和尺度。這與直覺(jué)相反，因?yàn)椴煌矫娴倪吔缈蛐枰煌谋尘啊Ｔ贛atrix Nets中，由於每個(gè)矩陣層的上下文發(fā)生變化，因此相同的方形卷積核可以用於不同比例和長(zhǎng)寬比的邊界框。

由於目標(biāo)大小在其指定的層內(nèi)幾乎是均勻的，因此與其他架構(gòu)（例如FPN）相比，寬度和高度的動(dòng)態(tài)範(fàn)圍更小。因此，回歸目標(biāo)的高度和寬度將變得更容易優(yōu)化問(wèn)題。最後Matrix Nets可用作任何目標(biāo)檢測(cè)架構(gòu)、基於錨或基於關(guān)鍵點(diǎn)、one-shot或two-shots檢測(cè)器。

Matrix Nets 用於基於關(guān)鍵點(diǎn)的偵測(cè)

在CornerNet被提出來(lái)的時(shí)候，其是為了替代基於錨點(diǎn)的檢測(cè)，它利用一對(duì)角（左上角和右下角）來(lái)預(yù)測(cè)邊界框。對(duì)於每個(gè)角落來(lái)說(shuō)，CornerNet可預(yù)測(cè)熱圖、偏移量和嵌入。

上圖是基於關(guān)鍵點(diǎn)的目標(biāo)偵測(cè)框架－ KP-xNet，它包含4個(gè)步驟。

• (a-b)：使用了xNet的主幹；
• (c)：使用了共享輸出子網(wǎng)絡(luò)，而針對(duì)每個(gè)矩陣層，預(yù)測(cè)了左上角和右下角的熱圖和偏移量，並在目標(biāo)層內(nèi)對(duì)它們進(jìn)行中心點(diǎn)預(yù)測(cè)；
• (d)：利用中心點(diǎn)預(yù)測(cè)匹配同一層中的角，然後將所有層的輸出與soft非極大值抑制結(jié)合，從而得到最終輸出。

實(shí)驗(yàn)結(jié)果

下表展示了在MS COCO資料集上的結(jié)果：

研究者也比較了新提出的模型與其他模型在不同的backbones上基於參數(shù)的數(shù)量。在第一張圖中，我們發(fā)現(xiàn)KP-xNet在所有參數(shù)層級(jí)上都優(yōu)於所有其他結(jié)構(gòu)。研究者認(rèn)為這是因?yàn)镵P-xNet使用了一種尺度和縱橫比感知的體系結(jié)構(gòu)。

論文網(wǎng)址：https://arxiv.org/pdf/1908.04646.pdf

以上是最新的目標(biāo)偵測(cè)的深度架構(gòu) 參數(shù)少一半、速度快3倍+的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！