多感測器數據融合用於產線視覺檢測

發佈於 2020年12月7日

視覺檢測是大多數品管工作流程的基石。由人工執行時,過程昂貴,容易出錯且效率低落: 1成至2成的誤判過篩/偏移率及生產瓶頸很常見。以零檢出產線生產品管產品IQZeProd (Inline Quality control for Zero-error Products) 為名,Fraunhofer IWU的研究人员开发新的产线监控解决方案,以在生产过程中尽早辨识各种材料(例如木材,塑料,金属,和涂漆的表面)的瑕疵。系统使用来自多种传感器的多传感器数据融合技术,在零组件经过生产线时识别结构和表面缺陷。目标是透过提高检测过程可靠性及改进检测缺陷,创造强大且持续性高的工业生产过程。系统的核心是研究人员自行开发的Xeidana®軟體框架及20台工業相機的模組。研究人員對相機特定的要求標準:全局快門黑白感測器;低震動實時觸發;超高數據速率進行可靠數據傳輸,且能直接集成到軟體框架中。他們選擇了The Imaging Source 兆鎂新GigE Vision標準工業相機

IQXeProd中20台TIS GigE工業相機的圖像數據,以及高光譜和非光學感測器呈現的數據。使用Xeidana軟體框架進行融合,以實現零誤差的產線QC系統。<i>(圖片來源: Fraunhofer IWU)</i>

Xeidana提供處理光學,熱感應,多光譜,偏振或非光學感測器(例如渦電流)的數據所需的靈活性,而許多檢測任務則需透過標準光學感測器提供的數據而完成。項目經理亞歷山大·皮耶爾(Alexander Pierer)表示 :「我們經常使用數據融合來多重掃描關鍵零組件區域。多重包含從不同角度掃描同一區域,來模擬手動檢測過程中使用的『鏡像』。」為了獲取完成這些任務所需的視覺數據,研究人員創建了一個由20台TIS相機組成的模組:19台黑白相機 (DMK 33G445)及1台彩色相機 (DFK 33GX273)。

19台黑白工業相機從關鍵零組件區域收集數據。 Xeidana處理多重數據以模擬“鏡像”的過程 ─ 一種在手動檢測過程中很常見的技術。<i>(圖片來源:Fraunhofer IWU) </i>

黑白感測器: 最適瑕疵檢測

由於其固有的物理特性,黑白感測器能呈現比彩色感測器更高的細節,更高的靈敏度及更低的噪點。 皮耶爾指出:「黑白感測器足以檢測因表面亮度差異所引起的缺陷。雖然顏色數據對我們人類非常重要,但在技術應用中,顏色數據通常無法提供其他資料。我們使用彩色相機,透過 HSI變換進行色調分析,以檢測可能顯示塗料厚度有問題的顏色偏差。」

任務需求和短曝光時間意味著工程師對於相機選擇有非常精確的標準設定,皮耶爾繼續說明:「主要選擇標準是全局快門和實時觸發,震動極低,因為我們必須在很短的曝光時間內(10µs的範圍內)拍攝移動中的零件。相機和Lumimax照明(iiM AG)之間的曝光(通過硬體輸入觸發)必須絕對同步。對於我們來說,很重要的一點是,感興趣區域 (ROI) 已限制在相機韌體內相關區域,來優化圖像傳輸的網絡負載。此外,我們仰賴在極高速率時還能進行可靠的數據傳輸。由於零組件已在過程中被檢測過了,因此不會出現圖像錯誤或碎片化的圖像傳輸。」

電動變焦相機可快速調整觀測範圍(FOV)

在項目過程中,團隊構建了多個系統:用於工業設置以及示範和測試目的。典型工業環境中受檢測的零組件持續不停移動,DMK 33G445和DFK 33GX273相機提供的定焦成像滿足了團隊的要求。然而,針對示範/測試系統,研究人員使用許多不同零組件進行測試,包括金屬零件,木製毛坯和3D印刷塑料,就需要具有可調節觀測範圍(FOV)的相機。The Imaging Source 兆鎂新 DMK Z12G445黑白變焦相機具有集成電動變焦功能,符合任務要求。

變焦相機可提供快速可調的觀測範圍(FOV),使示範系統能夠掃描各種尺寸和形狀的零組件。 <i>(圖片:Fraunhofer IWU)</i>

大規模並行處理技術可與數據傳輸保持同步並實現深度學習

通過20多種不同類型的感測器向系統傳送數據,可以應對400 MB / s量級的數據流。皮耶爾解釋:「該系統的設計吞吐速度高達1 m / s,…,每三到四秒,二十個相機模組就可以創建400張圖像。此外,來自高光譜的線陣相機和粗糙度測量系統,都必須在10秒週期內處理和評估完成。為了滿足這一要求,必須要有大規模並行數據處理的能力,包含28核心 (CPU)和顯卡(GPU)。這種並行化使檢測系統能夠與生產週期保持同步,提供具有100%控制能力的產線系統。」Xeidana的模組化框架特別針對現代多核系統能夠進行大規模並行處理的能力進行優化,使應用工程師能夠使用這個插件系統 (可透過多種不同圖像數據庫來延展新功能) 快速實現大規模並行、特殊應用的品管項目。

此系統的數據融合功能可以通過多種方式使用,取決於需要什麼樣的資料來提供最可靠的結果。除了標準的機器視覺檢測任務外,研究人員團隊目前正努力整合其他非破壞性評測技術,例如3D視覺以及不可見光的其他種類感測器(例如X射線、雷達、紫外線、太赫茲)來檢測其他類型的表面和內部缺陷。

處理流程網絡。綠色和黃色模組並行執行單獨的圖像處理任務。 <i>(圖片:Fraunhofer IWU)</i>

由於Xeidana支援大規模並行處理,深度學習技術也可用於檢測標準不容易量化或定義的零組件的瑕疵檢測。皮耶爾澄清:「這些技術對於具有不規則質地的有機成分(例如木材和皮革)以及紡織品尤其重要。」 由於機器學習技術有時難以在某些情況下應用(例如,分類決策的可追溯性有限,以及在調試過程中無法手動調整演算法),皮耶爾補充:「我們主要依靠經典的圖像處理演算法和信息處理的統計方法來執行我們的項目。只有達到極限時,我們才轉向機器學習。」

BMWI logo 致謝:The Imaging Source 兆鎂新歐洲總部是IQZeProd計畫產業工作組活躍成員,並且與研究合作夥伴進行密切的專業交流。德國測量控制和系統工程研究協會(DFMRS)的促進聯合工業研究計劃(IGF)項目IQZeProd (232 EBG)-DFMRS是由德國國際金融基金會在聯邦經濟和能源部根據德國聯邦議院決議通過的促進聯合工業研究計劃資助。請注意,促進聯合工業研究計劃項目232 EBG的最終報告已公開給德國民眾。最終報告可從德國測量控制與系統技術研究協會獲得。根據德國聯邦議院的決議,由聯邦經濟和能源部支援。

分享此文給您的朋友及同事 :

發文由 TIS Marketing 發佈於 2020年12月7日。

關於 The Imaging Source

自1990年成立以來, The Imaging Source 兆鎂新 成為全球製造工業相機、影像擷取卡及視訊轉換器的知名品牌, 產品系列已廣泛地應用於工業自動化、品質檢測、物流、醫學、科學研究及保全等領域。

我們全方位的產品系列包括了 USB 3.1USB 3.0USB 2.0GigE 等多元介面的工業相機以及相關機器視覺產品, 皆以創新、高品質及持續滿足高性能應用需求而著名。

自動成像協會 已通過 ISO 9001:2015標準認證

聯繫我們