相機是通過透視投影變換來將3D場景轉(zhuǎn)換為2D圖像。在射影變換中，平行線相交于一點稱之為消失點。本文詳細介紹了兩種利用消失點特性的標定方法。目的是為根據(jù)實際應(yīng)用和初始條件選擇合適的標定方法提供一個實用的工具。這里詳細介紹了兩種不同消失點的方法進行相機標定，并進行了比較。首先，利用合成數(shù)據(jù)對這兩個模型進行了分析。最后，對每種方法進行了實際標定結(jié)果進行測試，結(jié)果證明了標定的質(zhì)量。

主要內(nèi)容

當我們在使用相機實現(xiàn)三維重建或者虛擬現(xiàn)實等交互場景時，需要對相機進行校準或者稱之為標定。常見的比如三維重建、目標檢測、場景建圖和物體重建或自定位等任務(wù)都需要對場景進行標定。僅僅捕捉圖像是不夠的。顯式相機標定是指標定過程以一組物理參數(shù)結(jié)束，獲得一個詳細的模型，盡可能接近真實系統(tǒng)的完整描述。Salvi等人發(fā)表了一份相機校準方法與精度評估的對比評論。這項調(diào)查的一個顯著優(yōu)點是，它標準化了符號，便于比較著名的標定方法，如Tsai、Hall或Faugeras。后來Zhang、Chen[5]或Heikkila對所提出的模型進行了改進。最常見的相機模型是針孔相機，它通過從三維歐幾里德空間到圖像平面的投影變換來生成圖像。假設(shè)一個理想的投影中，點的共線保持不變。因此，場景中的線作為線投影到圖像平面上。射影空間的一個有趣的特性是平行線相交于圖像上的一個點，這與我們熟悉的歐幾里德空間中平行線從不相交的情況不同。所以我們我們可以說在射影空間下，平行線的交點位于無窮遠處，它在圖像像平面上的投影稱為消失點（VP）。

在本文中，我們將使用簡短的符號VPs來表示屬于正交方向的消失點。人們提出了許多方法來精確檢測VPs。VPs的特性直接與焦距和相機相對于世界坐標系的旋轉(zhuǎn)有關(guān)。Caprile和Beardsley是最早使用VPs估計相機內(nèi)部參數(shù)的公司之一。后來，Hartley和Zisserman、Cipolla等人或He使用VPs來計算相機參數(shù)。兩個類似的工作提出了一種利用從包含兩個vp的多幅圖像中獲得的calibration sphere來尋找本征參數(shù)的方法。作者解釋了用于提取校準矩陣的絕對二次曲線圖像與calibration sphere之間的關(guān)系。

這里我們知道射影變換由齊次坐標的非奇異線性變換組成：

單應(yīng)性矩陣P3×4，又稱投影矩陣，可分解為相機內(nèi)參矩陣與世界坐標系到相機機坐標系的變換矩陣的乘積：

針孔相機的通用模型考慮了兩個像軸之間的傾斜系數(shù)，用γ表示，以及縱橫比，或者比例因子，用αu和αv表示。因此，攝像機矩陣K的形式如下：

然而，通常采用的簡化方法是將傾斜度設(shè)為零（γ=0），比例因子等于1，即αu=αv=1。構(gòu)成旋轉(zhuǎn)和平移矩陣的六個外部參數(shù)是對應(yīng)于每個正交軸的三個旋轉(zhuǎn)和三個平移。當內(nèi)外參數(shù)確定后，對攝像機進行標定。

這里提出兩種利用消失點特性的相機標定方法。Guillou等人提出的第一種方法只使用兩個消失點。第二種方法由Cipolla等人提出，它使用三個消失點來確定攝像機模型的七個參數(shù)。兩種方法產(chǎn)生的模型最初用于建筑物場景模型。（因為建筑物能夠方便的提取出三個軸方向的消失點）

用兩個消失點標定相機

以兩個坐標系為中心。將攝像機投影中心置于Oc處，圖像的中心用Oi表示，Oc為在像面上的正交投影。設(shè)兩個消失點V1和V2為世界坐標系的兩個軸xw和yw的消失點，如圖1所示。消失點在圖像平面上的坐標是V1=（v1i，v1j）和V2=（v2i，v2j）。Oi在直線（V1V2）上的投影用Vi表示，主點位于光軸與像面相交處。其位置對于校準過程中的進一步計算至關(guān)重要。假設(shè)主點位于圖像中心，縱橫比等于1，即αu=αv=f，則只需使用兩個消失點，就可以通過幾何關(guān)系獲得相機的內(nèi)參和外參（這里有一個強制的假設(shè)主點位于圖像的中心）

內(nèi)參計算

圖像中心被認為與主點重合。因此，它的坐標（u0，v0）立即獲得?？紤]Oc和Oi是沿光軸線的，可以計算焦距f，如上圖所示，得到：

這里，OiVi是從圖像中心到地平線的距離，由兩個消失點計算可得

外參計算

世界坐標系和攝像機坐標系之間的旋轉(zhuǎn)用矩陣R表示，考慮到兩個消失點V1和V2在世界參考系的兩個正交軸的方向上，以O(shè)w為中心，所有平行線在一個消失點相交，我們可以建立一個矢量關(guān)系

與世界系統(tǒng)具有相同的方向。因此，新坐標系和相機坐標系之間的旋轉(zhuǎn)與世界坐標系和相機坐標系之間的旋轉(zhuǎn)相同。向量X′c，Yc′，Z′c為：

最終的旋轉(zhuǎn)矩陣R可得：

相機校準的最后一步是計算平移向量t。假設(shè)我們已知場景中已知長度的一小段，其兩個端點中的第一個位于世界原點。在不失概括性的情況下，世界的中心可以在場景中的任何一點上選擇。線段由世界點P1=[0，0，0]T和P2=[xp2，yp2，zp2]T確定，如下圖所示。

由于旋轉(zhuǎn)矩陣R已知，我們可以將線段與其在相機坐標系中的圖像對齊：

現(xiàn)實世界的線段由相機通過投影變換成像，產(chǎn)生兩個圖像點pi1px和pi2px，以像素表示。在針孔模型中，可以通過不做像素變換來計算圖像中任何點的公制坐標，則第三個坐標是焦距：

現(xiàn)在可以在圖像平面上進行線段平移，方法是將其第一個點設(shè)置在其圖像PI1m上并計算第二個點的位置。因此，平移后的線段由點P′1和P′2表示：

由此得到的△p1′p2與圖中的兩個三角形p1′Q平行。利用相似三角形的性質(zhì)，我們可以得到：

因此，從相機中心到世界中心的距離D可以計算為：

那么平移矩陣可得

用三個消失點標定相機

該方法使用了從場景中正交方向確定的三個vp。假設(shè)圖像中的三個消失點可以由已知的圖像確定，例如兩個正交的方格圖案。本文不討論非結(jié)構(gòu)化場景中的VPs檢測方法，因為這一主題超出了本文的主題。

內(nèi)參計算

在當前的方法中，我們認為主點位于圖像的中心，傾斜度為零（γ=0），比例因子等于1，即αu=αv=f。因此，相機矩陣具有簡化形式：

當圖像大小已知時，直接確定主點的位置。唯一需要計算的固定參數(shù)是焦距。通過以下單應(yīng)性，將三個相互正交方向?qū)?yīng)的消失點投影到圖像平面上：

這三個消失點可以用比例來表示為：

考慮到投影矩陣的分解，如等式（2）所示，可得：

考慮到無窮遠處齊次點與平移向量相乘的影響，我們得到：

使用相機矩陣K，旋轉(zhuǎn)矩陣R可以寫成

利用旋轉(zhuǎn)矩陣的正交性，并將其應(yīng)用于前兩列，我們得到

那么焦距可以計算如下

外參計算

外部參數(shù)是旋轉(zhuǎn)矩陣R和平移向量t的一部分。如果確定了尺度因子λi，則可以計算方程中給出的旋轉(zhuǎn)矩陣。為了計算它們，可以通過分離比例因子λi并使用無窮遠處的齊次點與平移向量相乘來重新排列方程：

將兩邊的方程乘以（KR）T，并考慮旋轉(zhuǎn)矩陣的正交性約束，得到：

這里定義Q矩陣為

包含尺度因子λi的向量可以通過重新排列方程（20）和（21）來分離得到：

尺度因子可以通過方程組（22）上的奇異值分解來計算，并且可以確定旋轉(zhuǎn)矩陣。注意，如果尺度因子已知，則確定方程（20）的左側(cè)，并且可以通過在等式（21）中計算其值來直接計算固有參數(shù)。

當從場景中得到相互正交的方向的三個消失點時，可以使用另一種方法計算主點（u0，v0）的坐標，方法是找到由消失點形成的三角形的正交中心。平移向量t是從攝像機原點指向世界原點的向量，由投影矩陣的最后一列給出。世界坐標系的投影是從等式（1）中獲得的，設(shè)定隨機選擇的原點的值Xi＝0，Yi＝0，Zi＝0。在沒有場景附加信息的情況下，從單個視圖獲得的平移將達到比例，其中λi具有任意值。如果有附加信息，如線段的長度或場景中點的坐標，則可以精確地提取平移矢量。設(shè)Ri為旋轉(zhuǎn)矩陣的第i行，并且PWI＝（X，Y，Zi，1）T是場景的點，投影到圖像平面上

然后，得到以下方程組：

變換后得到

重新書寫如下

平移向量的分量可以通過疊加多對圖像和場景點的方程（26）來計算，并使用奇異值分解來求解得到。尋找三個消失點需要至少六個點，放置在場景中三個相互正交的軸上，這些點也可以用于計算平移向量。

實驗結(jié)果

為了研究所實現(xiàn)方法對噪聲的魯棒性，我們進行了一系列實驗。在合成環(huán)境中工作的優(yōu)點是可以獲得絕對的地面真實值。在真實場景中，噪聲通常存在于圖像層面，因此，高斯噪聲逐漸被加入到圖像中，并利用受影響的圖像對相機進行標定。在知道VPs的位置后，可以使用前面介紹的標定方法來估計相機模型。這一步是為了增加高斯噪聲水平而反復(fù)進行的。為了獲得盡可能接近每個方法的典型行為的結(jié)果，已經(jīng)進行了50次迭代。通過計算圖像、內(nèi)參數(shù)和外參數(shù)三種輸出的誤差，測量了噪聲對標定模型的影響。圖像誤差計算為參考點和重新投影點之間的距離。比較了攝像機的內(nèi)參數(shù)αu和αv以及外部參數(shù)，即攝像機與世界參考系之間的旋轉(zhuǎn)和平移。