一、前言

目前領(lǐng)先的目標(biāo)偵測(cè)器是基於深度CNN的主幹分類(lèi)器網(wǎng)路重新調(diào)整用途的兩級(jí)或單級(jí)網(wǎng)路。 YOLOv3就是這樣一種眾所周知的最先進(jìn)的單級(jí)檢測(cè)器，它接收輸入圖像並將其劃分為大小相等的網(wǎng)格矩陣。具有目標(biāo)中心的網(wǎng)格單元負(fù)責(zé)偵測(cè)特定目標(biāo)。

今天分享的，就是提出了一種新的數(shù)學(xué)方法，該方法為每個(gè)目標(biāo)分配多個(gè)網(wǎng)格，以實(shí)現(xiàn)精確的tight-fit邊界框預(yù)測(cè)。研究者也提出了一種有效的離線(xiàn)複製貼上資料增強(qiáng)來(lái)進(jìn)行目標(biāo)偵測(cè)。新提出的方法顯著優(yōu)於一些目前最先進(jìn)的目標(biāo)偵測(cè)器，並有望獲得更好的效能。

二、背景

目標(biāo)偵測(cè)網(wǎng)路旨在使用精確匹配邊界框在影像上定位物件並準(zhǔn)確標(biāo)記它們。最近，有兩種不同的方法可以實(shí)現(xiàn)這一目標(biāo)。第一種方法是效能方面，最主要的方法是兩階段目標(biāo)檢測(cè)，最好的代表是區(qū)域卷積神經(jīng)網(wǎng)路（RCNN）及其衍生物[Faster R-CNN: Towards real-time object detection with region proposal networks]、[Fast R-CNN]。相比之下，第二組目標(biāo)檢測(cè)實(shí)現(xiàn)的因其出色的檢測(cè)速度和輕量級(jí)而被人們所知，被稱(chēng)為單階段網(wǎng)絡(luò)，代表性示例為[You only look once: Unified, real-time object detection]、[SSD: Single shot multibox detector]、[Focal loss for dense object detection]。兩階段網(wǎng)絡(luò)依賴(lài)於一個(gè)潛在的區(qū)域建議網(wǎng)絡(luò)，該網(wǎng)絡(luò)生成了可能包含感興趣對(duì)象的圖像的候選區(qū)域。此網(wǎng)路產(chǎn)生的候選區(qū)域可以包含物件感興趣的區(qū)域，在單階段目標(biāo)偵測(cè)中，偵測(cè)是在一個(gè)完整的前向傳遞中同時(shí)處理分類(lèi)和定位。因此，通常情況下，單階段網(wǎng)路更輕、更快且易於實(shí)現(xiàn)。

今天的研究依然是堅(jiān)持YOLO的方法，特別是YOLOv3，並提出了一種簡(jiǎn)單的hack，可以同時(shí)使用多個(gè)網(wǎng)絡(luò)單元元素預(yù)測(cè)目標(biāo)座標(biāo)、類(lèi)別和目標(biāo)置信度。每個(gè)物件的多網(wǎng)路單元元素背後的基本原理是透過(guò)強(qiáng)制多個(gè)單元元素在同一物件上工作來(lái)增加預(yù)測(cè)緊密擬合邊界框的可能性。

多重網(wǎng)格指派的一些優(yōu)點(diǎn)包括：

目標(biāo)偵測(cè)器提供它正在偵測(cè)的物件的多視角圖，而不僅僅依靠一個(gè)網(wǎng)格單元來(lái)預(yù)測(cè)物件的類(lèi)別和座標(biāo)。

（b ) 較少隨機(jī)且不確定的邊界框預(yù)測(cè)，這意味著高精度和召回率，因?yàn)楦浇木W(wǎng)路單元被訓(xùn)練來(lái)預(yù)測(cè)相同的目標(biāo)類(lèi)別和座標(biāo);

(c) 減少具有感興趣物件的網(wǎng)格單元與沒(méi)有感興趣物件的網(wǎng)格之間的不平衡。

此外，由於多網(wǎng)格分配是對(duì)現(xiàn)有參數(shù)的數(shù)學(xué)利用，並且不需要額外的關(guān)鍵點(diǎn)池化層和後處理來(lái)將關(guān)鍵點(diǎn)重新組合到其對(duì)應(yīng)的目標(biāo)，如CenterNet和CornerNet，可以說(shuō)它是一個(gè)更實(shí)現(xiàn)無(wú)錨或基於關(guān)鍵點(diǎn)的目標(biāo)偵測(cè)器試圖實(shí)現(xiàn)的自然方式。除了多網(wǎng)格冗餘註釋?zhuān)芯空哌€引入了一種新的基於離線(xiàn)複製貼上的資料增強(qiáng)技術(shù)，用於準(zhǔn)確的目標(biāo)檢測(cè)。

三、MULTI-GRID ASSIGNMENT

#上圖包含三個(gè)目標(biāo)，分別是狗狗、腳踏車(chē)和汽車(chē)。為簡(jiǎn)潔起見(jiàn)，我們將解釋我們?cè)谝粋€(gè)物件上的多網(wǎng)格分配。上圖顯示了三個(gè)物件的邊界框，其中包含更多關(guān)於狗的邊界框的細(xì)節(jié)。下圖顯示了上圖的縮小區(qū)域，重點(diǎn)是狗的邊界框中心。包含狗邊界框中心的網(wǎng)格單元的左上角座標(biāo)以數(shù)字0標(biāo)記，而包含中心的網(wǎng)格周?chē)钠渌藗€(gè)網(wǎng)格單元的標(biāo)籤從1到8。

到目前為止，我已經(jīng)解釋了包含目標(biāo)邊界框中心的網(wǎng)格如何註釋目標(biāo)的基本事實(shí)。這種對(duì)每個(gè)物件僅一個(gè)網(wǎng)格單元的依賴(lài)來(lái)完成預(yù)測(cè)類(lèi)別的困難工作和精確的tight-fit邊界框引發(fā)了許多問(wèn)題，例如：

（a）正負(fù)網(wǎng)格之間的巨大不平衡，即有和沒(méi)有物件中心的網(wǎng)格座標(biāo)

（b）緩慢的邊界框收斂到GT

（c）缺乏要預(yù)測(cè)的物件的多視角（角度）視圖。

所以這裡要問(wèn)的一個(gè)自然問(wèn)題是，「顯然，大多數(shù)物件包含一個(gè)以上網(wǎng)格單元的區(qū)域，因此是否有一種簡(jiǎn)單的數(shù)學(xué)方法來(lái)分配更多這些網(wǎng)格單元來(lái)嘗試預(yù)測(cè)物件的類(lèi)別和座標(biāo)連同中心網(wǎng)格單元？這樣做的一些優(yōu)點(diǎn)是（a）減少不平衡，（b）更快的訓(xùn)練以收斂到邊界框，因?yàn)楝F(xiàn)在多個(gè)網(wǎng)格單元同時(shí)針對(duì)同一個(gè)對(duì)象，（c）增加預(yù)測(cè)tight-fit邊界框的機(jī)會(huì)（d) 為YOLOv3等基於網(wǎng)格的偵測(cè)器提供多視角視圖，而不是物件的單點(diǎn)視圖。新提出的多重網(wǎng)格分配試圖回答上述問(wèn)題。

Ground-truth encoding

四、訓(xùn)練

?A. The Detection Network: MultiGridDet

MultiGridDet是一個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)，透過(guò)從YOLOv3中刪除六個(gè)darknet卷積塊來(lái)使其更輕、更快。一個(gè)卷積塊有一個(gè)Conv2D Batch Normalization LeakyRelu。移除的區(qū)塊不是來(lái)自分類(lèi)主幹，即Darknet53。相反，將它們從三個(gè)多尺度檢測(cè)輸出網(wǎng)路或頭中刪除，每個(gè)輸出網(wǎng)路兩個(gè)。儘管通常深度網(wǎng)路表現(xiàn)良好，但太深的網(wǎng)路也往往會(huì)快速過(guò)度擬合或大幅降低網(wǎng)路速度。

B. The Loss function

#Coordinate activation function plot with different β values

C. Data Augmentation

離線(xiàn)複製貼上人工訓(xùn)練圖像合成工作如下：首先，使用簡(jiǎn)單的圖像搜索腳本，使用地標(biāo)、雨、森林等關(guān)鍵字從Google圖像下載數(shù)千張背景無(wú)物件圖像，即沒(méi)有我們感興趣的物件的圖像。然後，我們從整個(gè)訓(xùn)練資料集的隨機(jī)q個(gè)影像中迭代地選擇p個(gè)物件及其邊界框。然後，我們產(chǎn)生使用它們的索引作為ID選擇的p個(gè)邊界框的所有可能組合。從組合集合中，我們選擇滿(mǎn)足以下兩個(gè)條件的邊界框子集：

• if arranged in some random order side by side, they must fit within a given target background image area
• and should efficiently utilize the background image space in its entirety or at least most part of it without the objects overlap.

#五、實(shí)驗(yàn)及視覺(jué)化

Pascal VOC 2007上的效能比較