一先導(dǎo)與重點(diǎn)

文章主要介紹自動(dòng)駕駛技術(shù)中幾種常用的座標(biāo)系統(tǒng)，以及他們之間如何完成關(guān)聯(lián)和轉(zhuǎn)換，最終建構(gòu)出統(tǒng)一的環(huán)境模型。這裡重點(diǎn)理解自車到相機(jī)剛體轉(zhuǎn)換(外參)，相機(jī)到影像轉(zhuǎn)換(內(nèi)參)，影像到像素有單位轉(zhuǎn)換。 3d向2d轉(zhuǎn)換會(huì)有對應(yīng)的畸變，平移等。
重點(diǎn)：自車座標(biāo)系相機(jī)機(jī)體座標(biāo)系需要重寫的是：平面座標(biāo)系像素座標(biāo)系?困難：要考慮影像畸變，去畸變和加畸變都是在像平面上去補(bǔ)償

二簡介

##視覺系統(tǒng)一共有四個(gè)座標(biāo)系：像素平面座標(biāo)系（ u,v）、影像座標(biāo)系（x,y）、相機(jī)座標(biāo)系（）與世界座標(biāo)系（）。每種座標(biāo)系之間均存在聯(lián)繫，那麼如何透過影像像素座標(biāo)定位到世界座標(biāo)系的座標(biāo)，需要

透過相機(jī)標(biāo)定來解決，其中關(guān)鍵的演算法部分在於座標(biāo)系轉(zhuǎn)換，而變換則需要透過齊次座標(biāo)的表示方式來完成。

三各個(gè)感測器座標(biāo)系

3.1 相機(jī)座標(biāo)系統(tǒng)

相機(jī)的作用是

把三維世界中的形狀、顏色訊息，壓縮??到一張二維圖像上。基於攝影機(jī)的感知演算法則是從二維圖像中提取並還原三維世界中的元素和信息，如車道線，車輛、行人等，併計(jì)算他們與自己的相對位置。 感知演算法和相機(jī)相關(guān)的座標(biāo)係有影像座標(biāo)系（像素座標(biāo)系）、攝影機(jī)座標(biāo)系、需要被重寫的是：平面座標(biāo)系

3.1.1 影像座標(biāo)系（or 像素座標(biāo)系）

電腦上儲(chǔ)存的照片或影像，一般以左上角為原點(diǎn)，向右為x正方向，向下為y正方向，單位以“像素”最為常用。影像座標(biāo)系為二維座標(biāo)系，標(biāo)示為(Xv, Yv)。

需要進(jìn)行改寫的內(nèi)容是：3.1.2 攝影機(jī)座標(biāo)系

因?yàn)橛跋褡鶚?biāo)系的x軸向右，y軸向下，所以攝影機(jī)座標(biāo)係以鏡頭主光軸中心為原點(diǎn)。一般來說，x軸向右為正方向，y軸向下為正方向，z軸向前為正方向。這樣，x和y方向與影像座標(biāo)系的方向一致，z方向表示景深。攝影機(jī)座標(biāo)係可以表示為（Xc，Yc）

需要進(jìn)行改寫的內(nèi)容是：3.1.3 需要被重寫的是：平面座標(biāo)系（或成像座標(biāo)系）

為了能夠

定量描述三維空間到二維影像的映射關(guān)係，圖形學(xué)裡引入了需要被重寫的是：平面座標(biāo)系。它是攝影機(jī)座標(biāo)系的一個(gè)平移，中心仍在攝影機(jī)主光軸上，距離光軸中心的距離等於攝影機(jī)的焦距?我們知道攝影機(jī)會(huì)在光軸中心後方的底片上成一個(gè)縮小的倒像，是真正的像平面(Xf, Yf)。但為了分析計(jì)算方便，我們會(huì)在光軸中心前方設(shè)立一個(gè)虛擬像平面。虛擬像平面上的成像為正像，大小與真實(shí)倒像相同

3.5 世界座標(biāo)系根據(jù)具體情況而定，可以表示任何物體，這是由於相機(jī)引入的。單位為米

世界座標(biāo)系

?

，相機(jī)座標(biāo)系?，成像座標(biāo)系?及像素座標(biāo)系

######四Lidar 座標(biāo)系#########Lidar (Light Detection and Ranging) 是一種###遠(yuǎn)端感測技術(shù)###，使用雷射光束測量與物體的距離。 360度旋轉(zhuǎn)發(fā)射射線，依不同目標(biāo)反射率不同反射而形成電雲(yún)。在自動(dòng)駕駛和機(jī)器人領(lǐng)域，Lidar常被用作一個(gè)主要的感測器來###獲取周圍環(huán)境的3D資訊###。在多數(shù)情況下，Lidar座標(biāo)系為右手座標(biāo)系，但具體定義可能會(huì)因Lidar製造商而異。 ###

4.1 定義

X軸: 通常指向Lidar前方。當(dāng)雷射光束直接向前發(fā)射時(shí)，與該方向的距離測量會(huì)在X軸上產(chǎn)生正值。 Y軸: 通常指向Lidar的左邊。當(dāng)雷射光束直接向左側(cè)發(fā)射時(shí)，與該方向的距離測量會(huì)在Y軸上產(chǎn)生正值。 Z軸: 通常指向Lidar的上方，與X和Y軸垂直。高度測量通常沿著Z軸進(jìn)行，正值代表物體高於Lidar設(shè)備，而負(fù)值代表低於Lidar設(shè)備。

4.2 重要性

• 車載Lidar系統(tǒng)的座標(biāo)系與車輛座標(biāo)係可能不完全對齊，需要一個(gè)轉(zhuǎn)換矩陣來在兩者之間進(jìn)行座標(biāo)變換。
• 資料標(biāo)註、地圖產(chǎn)生、物件偵測等任務(wù)需要明確Lidar座標(biāo)系的定義。
• 對於與其他感測器的資料融合，例如相機(jī)，知道各自的座標(biāo)係是非常關(guān)鍵的，以便進(jìn)行正確的資料對齊和融合。
• 當(dāng)與攝影機(jī)、雷達(dá)或其他感測器進(jìn)行資料融合時(shí)，通常需要知道Lidar與這些感測器之間的外部標(biāo)定參數(shù)（例如，旋轉(zhuǎn)和平移矩陣），以便在它們之間進(jìn)行座標(biāo)變換。

五自車座標(biāo)系

一般環(huán)境中選擇一個(gè)參考座標(biāo)系來描述感測器和物件的位置，該座標(biāo)系稱為世界座標(biāo)系；自車座標(biāo)系一般指的是以車體後軸中心為原點(diǎn)（因?yàn)獒彷S中心不會(huì)隨著車擺動(dòng)而發(fā)生相對變化），左前上或右前上的空間座標(biāo)系，左（右）一般為橫向，前一般為縱向，上指地面以上空間，座標(biāo)系隨著車子移動(dòng)而移動(dòng)。 所有的下游需要感知輸出的目標(biāo)都要在自車座標(biāo)系下面，BEV視角目標(biāo)也是指的在這個(gè)座標(biāo)系下

一般三維空間座標(biāo)係用三個(gè)正交軸X,Y,Z表示物體的位置，用繞這三個(gè)正交軸的旋轉(zhuǎn)角度（roll 滾動(dòng)角, pitch 俯仰角, yaw 偏航角）表示物體的姿態(tài)。時(shí)間座標(biāo)系只有一個(gè)維度。為了表達(dá)方便，我們一般將空間座標(biāo)和時(shí)間座標(biāo)分開討論。

六攝影機(jī)的內(nèi)參和外參

6.1 相機(jī)內(nèi)參

內(nèi)參用來決定攝影機(jī)從三維空間到二維影像的投影關(guān)係。主要包含三個(gè)參數(shù)，相機(jī)主點(diǎn)，相機(jī)焦距，畸變係數(shù)。內(nèi)參一般由商家給定，也可以進(jìn)行攝影機(jī)標(biāo)定。在自動(dòng)駕駛應(yīng)用中，攝影機(jī)的內(nèi)參為常數(shù)，使用中不會(huì)發(fā)生變化，但需要在使用前做好標(biāo)定工作。攝影機(jī)的拍攝過程，可以抽象化是從三維攝影機(jī)座標(biāo)系映射到二維需要被重寫的是：平面座標(biāo)系，再映射到影像座標(biāo)系的過程。

6.2 焦距 (f)

• #它描述了影像感測器與攝影機(jī)的透鏡之間的距離。通常以兩個(gè)參數(shù) () 和 () 來表示，分別對應(yīng)於影像的x軸和y軸。
• 在很多情況下，我們假定 ()，這意味著像素在兩個(gè)方向上都是正方形的。

6.3 主點(diǎn)

• 它是影像中的一個(gè)點(diǎn)，通常接近影像的中心。它是3D空間中的點(diǎn)投影到影像平面時(shí)所對應(yīng)的2D點(diǎn)。
• 通常以兩個(gè)參數(shù) () 和 () 表示，它們對應(yīng)於影像的x軸和y軸上的座標(biāo)。

6.4 畸變係數(shù)

• 真實(shí)攝影機(jī)的透鏡可能會(huì)引入畸變，導(dǎo)致影像失真。常見的畸變有徑向畸變和切向畸變。
• 常用的徑向畸變係數(shù)為 ()。
• 切向畸變係數(shù)為 ()。

一般情況下，攝影機(jī)的內(nèi)參可以用一個(gè)矩陣來表示：

這個(gè)矩陣通常被稱為內(nèi)參矩陣或相機(jī)矩陣。

6.5 相機(jī)外參

透過二維影像推斷物體在三維攝影機(jī)座標(biāo)系中的位置，例如獲得距離深度資訊。 從二維影像中取得三維距離資訊，如果需要取得物件在世界座標(biāo)系中的位置，則還需要知道攝影機(jī)在世界座標(biāo)系中的位姿。這一位姿表示被稱為攝影機(jī)的外部參數(shù)，簡稱外參，用來決定攝影機(jī)座標(biāo)與世界座標(biāo)系之間相對位置關(guān)係。在自動(dòng)駕駛應(yīng)用中，要得到這一位置關(guān)係還需要一系列的標(biāo)定和定位工作。相機(jī)相對其它座標(biāo)系，旋轉(zhuǎn)平移矩陣，其中旋轉(zhuǎn)外參與上述歐拉角【yaw，patch，roll】，旋轉(zhuǎn)順序一般為（z-y-x), 單位度；平移外參，相機(jī)到目標(biāo)坐標(biāo)系中的平移距離，單位米

七自車座標(biāo)系與世界座標(biāo)系

7.1 自車座標(biāo)系(Vehicle Coordinate System)

• #這是固定在車輛上的座標(biāo)系。
• 通常，X軸指向車輛的前方、Y軸指向車輛的右側(cè)（或左側(cè)，這取決於約定）、Z軸指向車輛的上方。
• 這個(gè)座標(biāo)系的原點(diǎn)通常位於車輛的某個(gè)固定點(diǎn)，例如車輛的中心、車輛的後軸等，這取決於特定的應(yīng)用和約定。

7.2 世界座標(biāo)系(World Coordinate System)

• 這是一個(gè)固定的、全域的座標(biāo)系，用來描述環(huán)境中的物體和車輛。
• 世界座標(biāo)系的原點(diǎn)和方向通常是根據(jù)特定的應(yīng)用或場景來選擇。例如，它可以定位在一個(gè)地圖的某個(gè)固定點(diǎn)，或是某個(gè)場景的中心。
• 世界座標(biāo)系為多個(gè)實(shí)體提供了一個(gè)共同的參考框架，讓它們之間進(jìn)行相對定位和導(dǎo)航。

關(guān)係與轉(zhuǎn)換：?- 由於車輛在世界中是移動(dòng)的，所以自車座標(biāo)系與世界座標(biāo)系之間的關(guān)係是時(shí)間變化的。 - 為了在這兩個(gè)座標(biāo)系之間進(jìn)行轉(zhuǎn)換，通常需要一個(gè)轉(zhuǎn)換矩陣或變換（通常由旋轉(zhuǎn)和平移組成）。這個(gè)轉(zhuǎn)換可以透過各種感測器（例如GPS、IMU、雷射雷達(dá)）和演算法（例如SLAM）來獲得。 - 轉(zhuǎn)換可以表示為一個(gè)4x4的齊次座標(biāo)矩陣，允許我們從一個(gè)座標(biāo)系轉(zhuǎn)換到另一個(gè)座標(biāo)系。

在大多數(shù)情況下，自車座標(biāo)系與世界座標(biāo)係是相同的，本文也是這樣理解的

八座標(biāo)系之間轉(zhuǎn)換關(guān)係

8.1 從世界座標(biāo)係到相機(jī)座標(biāo)系

物件之間的座標(biāo)系變換都可以表示座標(biāo)系的旋轉(zhuǎn)變換加上平移變換，則世界座標(biāo)係到相機(jī)座標(biāo)系的轉(zhuǎn)換關(guān)係也是如此。繞著不同的軸旋轉(zhuǎn)不同的角度得到不同的旋轉(zhuǎn)矩陣。 繞Z軸旋轉(zhuǎn)θ示意圖:

#最後可以簡單總結(jié)為旋轉(zhuǎn)矩陣：

平移: 平移相機(jī)座標(biāo)點(diǎn)（）平移距離為（）到世界座標(biāo)點(diǎn)

#8.2 相機(jī)座標(biāo)係到影像座標(biāo)系

從相機(jī)座標(biāo)係到影像座標(biāo)系，屬於透視投影關(guān)係，從3D轉(zhuǎn)換到2D。也可以看成是針孔模型的改變模型。滿足三角形相似定理。

8.3 影像座標(biāo)係到像素座標(biāo)系

在這種情況下，與先前的座標(biāo)系變換不同，此時(shí)沒有旋轉(zhuǎn)變換，但是座標(biāo)原點(diǎn)的位置和大小不一致，因此需要設(shè)計(jì)伸縮變換和平移變換

#

8.4 四個(gè)座標(biāo)系之間的關(guān)係

#透過最終的轉(zhuǎn)換關(guān)係來看，一個(gè)三維座標(biāo)點(diǎn)可以在影像中找到對應(yīng)的像素點(diǎn)。然而，反過來，透過影像中的一個(gè)點(diǎn)找到其在三維空間中對應(yīng)的點(diǎn)就成了一個(gè)問題，因?yàn)槲覀儊K不知道等式左邊的值

紅框內(nèi)即為外參，R和T分別為旋轉(zhuǎn)和平移量。內(nèi)參為是相機(jī)固有的屬性，其實(shí)就是焦距f，像元尺寸dx,dy。很明顯，表示的是點(diǎn)離光軸的距離

九總結(jié)

#梳理了自動(dòng)駕駛的各種座標(biāo)系，展現(xiàn)自動(dòng)駕駛各座標(biāo)系間的關(guān)係，最終得到像素座標(biāo)系與世界座標(biāo)系的轉(zhuǎn)換關(guān)係。

原文連結(jié)：https://mp.weixin.qq.com/s/tTRCjZBRZcnb59nX3FRR8w

以上是你是否真正掌握了座標(biāo)系轉(zhuǎn)換？自動(dòng)駕駛離不開的多感測器問題的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！