立體三維測量變的簡易輕鬆

由 TIS Marketing 於 2017年6月21日 發表。

3D資料擷取: 被動及主動方法

無論是IIoT時代的工業智能機器人使用三維數據來定位自己的工作空間,或反向自動販賣機可對空瓶子進行計數,又或表面檢測系統用來提醒工作人員最細微的材料瑕疵 ─ 現代三維感光元件從環境及物件中獲取信息,而此技術可運用於未來各種不同的產業上。

目前,市場上發展出多樣的技術,可從場景中收集三維信息。然而,必須在它們之間進行區分的一個關鍵點,即為主動及被動技術: 主動式技術如激光雷達(光檢測和測距)或ToF測距感測元件,使用主動式光源來提供距離資訊;被動式技術則僅倚賴由相機擷取的圖像數據 ─ 近似於人類視覺系統的深度感知功能。

過少電腦計算,價位高,以及不準確的結果讓早期三維立體系統的發展在許多應用上夭折。然而,感謝計算機性能和高解析度感光元件的改進,該技術正慢慢回流使用於越來越多的應用上。

所有這些技術各有其優點和缺點:因此ToF測距感測元件雖然作為一項規則,可使用較少的計算能力並且在場景結構方面幾乎沒有限制,目前的ToF系統(800×600像素)最大空間解析度相對較低,並且會受到太陽的紅外輻射影響,其室外使用非常有限。然而,市場上較新的感光元件,現已可讓被動式多視角三維模型系統 (multi-view stereo vision system) 提供極高的空間解析度;不過,此系統需要密集處理器,且在面對低對比度或重複性紋理時表現也較不佳。而今天的電腦計算資源及可選的模式投影使立體系統能夠以高空間及深度解析度 (spatial and depth) 進行實時運作。也正是這個原因,被動式多視角三維模型系統則是現在用於汲取三維信息最受歡迎且最具彈性的系統。多視角立體系統包含了兩個或多個以上的相機組合而成,可同時記錄場景中的資訊。當相機校準且可聚焦於現實世界中某個場景,此像素可於相機中定位,三維特徵則可透過三角測量從像素中重建。要達到最高可能之精準度則取決於相機之間的距離(基線),相機間的聚合角度,感光元件的像素大小和焦距。必要角度的校正及對應,使得所有影像處理的演算法符合要求。

實時應用三維立體視覺系統

通過相機校準,可以確定各個相機的位置和方向(外部參數)以及受到選定鏡頭顯著影響的焦距,主點和失真參數(內部參數)。

相機校準通常是使用棋盤格或圓點等二維校準圖案,可簡易清楚地檢測控制點。當然,就能精確地知道校準圖案的測量值,例如控制點之間的距離。接下來,就能呈現校準圖案的圖像序列(以各種不同圖案及方向的位置展現)。圖像處理演算法從各個圖像中檢測校準圖案中的控制點。例如,邊緣和角點檢測演算法作為棋盤圖案之基礎以及斑點演算法作為點校準圖案之檢測基礎。在此過程中,會出現校準物件和各個圖像之間多個三維-二維的對應關係。基於這些對應點,來提供相機參數。

檢測案例結果來自各種位置和方向的校準模式。通過校準圖案中檢測到的控制點,可以確定相機的內部和外部參數。

雖然校準僅運行一次(假設系統運作期間相機參數不變),但為了傳送場景的三維信息,必須針對每張圖像執行處理器密集型任務,以查找視圖之間的對應關係。在一立體系統下,可識別兩個視圖之間的對應點。在預處理中,圖像通常通過內部失真參數進行糾正。對於參考圖像中的一個像素,會有針對目標圖像中對應點的連續搜尋,代表觀察場景中相同的三維坐標。朗伯反射率假設(即完全漫射的表面),參考圖像和目標圖像中的局部區域應該非常相似。兩者的相關性在原始及目標區域之間算出,代表兩者的相關性。這與事先計算相關係數並在之後進行比較不相同(正規化互相關(cross-correlation) 已完整建立)。正規化互相關就是這樣一種相似性測量。

對應點

所有點都不需要對應到目標影像: 在幾何學上應該會有一個對應的點,可於修正過的畫面中的一條線,即所謂的極線 (epipolar line)。通信只需要沿著這些極線進行搜尋。為了再加速搜索尋,通常會校正未失真的輸入圖像。輸入圖像進行轉換,而所有對應的極線則共享同樣的垂直圖像座標。因此,對於參考圖像中的任何給定點,在尋找目標圖像中的對應點時,只需沿著具有相同垂直坐標的線搜尋。雖然搜尋的演算法複雜性保持不變,但之前的校正讓搜索對應點的過程更有效率。此外,如果場景的最小和最大工作距離是已知的,則可以沿著極線對搜索額外優化以加速它。

上方圖:The Imaging Source兆鎂新 立體視覺系統的原始圖像對。下方圖:校正後圖像對。對於參考圖像中的一個點(左下方),只需要沿著目標圖像中的同一圖像線搜索相應的點(右下方紅線為示範)。

如果所有沿著極線的可能目標環境都與參考環境進行比較,作為一項規則(在本地立體算法的情況下),具有最大相似度的目標環境,將會被選作最終對應值。如果完成對應性搜尋,假設已經找到明確的對應點,對於參考圖像的每個像素(在一套校正立體視覺系統中),將存在差異形式的距離信息 ─ 換句話說,作為沿極線的像素偏移量。這裡講的是一個差距圖像或視差圖。

在先前校準的內部和外部參數幫助下,視差可以轉而轉換成實際的度量距離信息。如果計算每個點的距離,那麼可以估算視差,結果就是以所謂的點雲形式出現的三維模型。在場景中低對比度或重複模式的情況下,由於許多具有低唯一性值的點將存在於目標視圖中,因此使用局部3D立體技術可導致不太可靠的差異計算。全域立體技術可以在這種情況下提供幫助,但由於它們對於最終視差卡有額外的要求(例如: 平滑約束形式會產生不連續性),因此處理器密集程度來的更高。通常,將人工結構投射到物體上以便在對應點中產生清晰度(投影紋理立體)更為容易。因此,投影機沒有按照相機進行校準,因為它僅用作人造結構的來源。

使用The Imaging Source兆鎂新 的SDK可視化差異評估和最終點雲。左圖:相對於參考圖像的視差圖。中間:紋理化點雲的3D視圖。右圖:顏色編碼的點雲,顯示與相機的距離。作為人工結構的來源。

通過GPUs加速

當需要高幀速率和高空間解析度時,現代GPU以顯著加速的速度計算3D信息。對於立體視覺系統在現有環境中的最終整合,The Imaging Source兆鎂新 依賴於模組化解決方案:使用The Imaging Source兆鎂新 的C ++ SDK(可選GPU加速功能)與The Imaging Source連結或MVTec的HALCON編程環境。雖然SDK使立體視覺系統可以簡單校準以及擷取及可視化3D數據,但HALCON提供了附加模式,例如用於集成機器人系統的手眼校準和附加算法,例如CAD模型註冊以獲取3D數據。

上述文章以上文章由Oliver Fleischmann 博士 (The Imaging Source 兆鎂新 產品經理) 提供,並發表於2017年五月德語版本之產業學術期刊 Computer & AUTOMATION ,其標題為3D-Sehen leicht gemacht" 。請點入連結,了解更多 IC 3D Stereo Camera System 以及IC 3D SDK的相關資訊。

Tag