一、如何建立圖片采集器和外部世界坐標之間的關系
　　這里需要兩步：
　　1.確定內參數。
　　2.確定外參數。
　　其中內參數用來描述圖片采集器在小孔成像過程中的一些重要參數值（焦距、主點、畸變...）。
　　外參數用來描述相機怎么擺在外部世界坐標系里（三個旋角組成的旋轉矩陣，三個線元素組成的相機中心在世界坐標系的位置）。

　　這個關系在攝影測量的共線方程和幾何計算機視覺的投影方程里得以表達，從這里可以衍生的一點是，如果你知道外部世界點坐標，又能在影像上高精度定位出相應的成像點坐標，那么你就可以算出內外參數了，從而完成相機標定。
　　當然，標定方法還有更多變種，但萬變不離該宗。

　　二、通過相片來算世界點坐標
　　可能你已經發現，當你的外部世界坐標點在成像的光線上（即圖片采集器中心向像點發出的射線）來回竄動的時候，它對應的影像像點坐標是不變的！這說明從物方點到像點的映射從線到點的對射，一條光線對應一個像點，所以需要加入第二張影像來交會確定出世界點的坐標。
　　這引入了兩個問題：
　　1.兩個相機之間的幾何關系怎么表達？
　　這是用相對定向模型（攝影測量）或者基礎矩陣（計算機視覺）來表達的；
　　2.怎么確定某個像點在另一張影像上的同源點（同名點/匹配點）？
　　這個通過影像匹配來獲取。當幾何關系被確定之后，通過前方交會就可以算兩張影像上的同名點世界點的坐標。

　　三、在上述的基礎上，要完成一片區域或者一個目標（建筑物、雕塑）的攝影測量，需要多張影像來完成？
　　此時，可在剛才確定的相對定向的基礎上進行連續的相對定向，即以某兩幅影像相對定向的初始圖片采集器坐標系為參考坐標系，不斷加入影像進行相對定向并放在第一幅影像表達的初始圖片采集器坐標系里面。
　　所以進行完連續相對定向之后的坐標系還是初始的圖片采集器坐標系，由于相對定向的過程需要同名像點，所以實際上這個過程之后既得到了圖片采集器的姿態（位置、朝向），又得到了一部分用于定向的匹配同名像點在圖片采集器坐標系下的三維坐標（結構）。
　　由于在這個過程中圖片采集器位置不斷變化，形成了motion，所以這個過程在計算機視覺里又稱為Structure From Motion（SFM）。把一系列影像都放在某個圖片采集器坐標下之后，此時通過少量地面控制點就可以把它與物方世界坐標之間的轉換關系解算出來，完成絕對定向。這種思路稱之為相對定向-絕對定向法。
　　通過以上的方法解算的過程中誤差會不斷積累和傳播，為了提高精度，在最后會進行整體的再一次優化，優化的目標可以是最小化重投影誤差。
　　由于成像模型里的旋轉矩陣是高度非線性的，這個優化問題是非線性優化問題，需要通過迭代來完成。
　　通過迭代來優化的過程自然涉及到迭代過程中的更新步長和更新方向（梯度）的問題，迭代步長和更新方向的確定用到了介于牛頓法（二階梯度）和標準梯度下降（一階梯度）之間的LM算法來完成，我們稱這個過程叫光束法平差。當然這里的優化也可以是完成幾張連續定向后就進行一次整體平差，以免太多的連續定向后的模型所算的定向值誤差太大，以至超出了光束法平差所采用的二階梯度下降優化方法可以容忍的初值誤差范圍（這類方法初值需要在真值附近，否則容易出現數值問題）。

　　四、密集地恢復深度，密集地測出影像上的點位坐標
　　至此，你完成了把多幅影像對應的相機放到外部世界坐標系里，并在此過程中得到了一部分用于定向的匹配像點的3D坐標（稀疏定向點點云）。下一步就是密集地恢復深度，密集地測出影像上的點位坐標。
　　以前我們叫立體匹配、多視立體匹配，現在匹配算法進步了，能逐像素匹配，我們干脆就叫它密集匹配了（Dense Matching）。其過程如下：
　　1.先生成核線影像，讓視差集中到水平方向，也就是說一對核線影像上坐標(x1,y1)來說，它在對應的影像上的同名點坐標(x2,y2)總滿足y1=y2. 所以你只需要去估計影像1上每個點的視差值x1-x2.注意，視差值決定深度（世界3D 點到成像平面的距離）。
　　2.每算一個可能的同名位置（一種可能的視差配置），都有一個匹配代價（交叉相關、互信息....），這樣就形成了一個視差代價函數空間，它對應著影像1上每個像素取每個潛在可能視差值的匹配代價。
　　3.估計每個像素點的視差。這個估計的過程就是在取每一個視差值的時候，你就有一個匹配代價，這項稱為數據項。同時，你還得考慮鄰域的信息，也就是說當某個像素的灰度值與鄰近像素相近時，我們也認為它們的深度傾向于更相近，如果他們的深度不相近，我們就懲罰它們。
　　同理，當鄰近像素的灰度值變化很大的，我們也認為它們的深度值傾向于有更大的變化，那么就會對鄰域像素灰度值變化很大而視差值差別不大的情況進行懲罰。完成這個懲罰設計出來的代價函數就是平滑項。平滑項和數據項一起構成了匹配優化的目標函數，也稱作能量函數，最優化求解這個函數使得代價（cost）最小的解就是求解的每個像素的視差值。
　　由于通過平滑項我們可以不斷的聯系鄰域像素，最后實際上我們聯系起了整幅影像，所以這也叫整體匹配方法，它解決了傳統攝影測量立體匹配到了邊界就干不了的問題。當然，有一部分點可能不能同時被兩張影像看到（遮擋），這部分像素深度無法得到。
　　4.多個密集匹配的立體像對的結果進行融合，得到整體的視差值和三維點云。

　　五、做完以上步驟，你可以開心的獲取：
　　數字地表模型DSM
　　數字正射影像DOM
　　數字高程模型DEM
　　數字線劃圖DLG
　　真正射影像TDOM

猜你喜歡：

攝影測量學的前世、今生與未來

攝影測量原理與作業流程