The Imaging Source 官方部落格

2020年對世界來說是充滿挑戰的一年，但並沒有削減台北英國商會 (British Chamber of Commerce in Taipei) 會員及其家人與朋友的捐贈精神。2020年12月11日第21屆聖誕節慈善拍賣和餐會於台北舉行，為台北英國商會三個主要慈善計劃進行募款，籌集了超過170萬美元，成為商會20年來最成功的籌款活動。

多年來，The Imaging Source 兆鎂新 也與許多公司和組織合作支持慈善活動、關懷地區教育，以履行其企業社會責任。此次拍賣會中，The Imaging Source競標贏得台灣國際兒童村計畫競標 (SOS Children Village) (三個慈善計畫其中之一)，同時也是最高的單項出價，貢獻了慈善資金。

The Imaging Source認為每個孩子都應該有機會獲得他們所需的教育並實現他們的夢想。台北英國商會執行長Steven Parker表示: 「由此慈善餐會募得的款項將能幫助我們提供一位學生全額大學獎學金；每年幫助埔里男孩之家80位男孩以及每年支持台灣國際兒童村舉辦年度活動和計畫。」

視覺檢測是大多數品管工作流程的基石。由人工執行時，過程昂貴，容易出錯且效率低落: 1成至2成的誤判過篩/偏移率及生產瓶頸很常見。以零檢出產線生產品管產品IQZeProd (Inline Quality control for Zero-error Products) 為名，Fraunhofer IWU的研究人员开发新的产线监控解决方案，以在生产过程中尽早辨识各种材料（例如木材，塑料，金属，和涂漆的表面）的瑕疵。系统使用来自多种传感器的多传感器数据融合技术，在零组件经过生产线时识别结构和表面缺陷。目标是透过提高检测过程可靠性及改进检测缺陷，创造强大且持续性高的工业生产过程。系统的核心是研究人员自行开发的Xeidana®軟體框架及20台工業相機的模組。研究人員對相機特定的要求標準：全局快門黑白感測器；低震動實時觸發；超高數據速率進行可靠數據傳輸，且能直接集成到軟體框架中。他們選擇了The Imaging Source 兆鎂新GigE Vision標準工業相機。

Xeidana提供處理光學，熱感應，多光譜，偏振或非光學感測器（例如渦電流）的數據所需的靈活性，而許多檢測任務則需透過標準光學感測器提供的數據而完成。項目經理亞歷山大·皮耶爾（Alexander Pierer）表示 :「我們經常使用數據融合來多重掃描關鍵零組件區域。多重包含從不同角度掃描同一區域，來模擬手動檢測過程中使用的『鏡像』。」為了獲取完成這些任務所需的視覺數據，研究人員創建了一個由20台TIS相機組成的模組：19台黑白相機 (DMK 33G445)及1台彩色相機 (DFK 33GX273)。

黑白感測器: 最適瑕疵檢測

由於其固有的物理特性，黑白感測器能呈現比彩色感測器更高的細節，更高的靈敏度及更低的噪點。 皮耶爾指出：「黑白感測器足以檢測因表面亮度差異所引起的缺陷。雖然顏色數據對我們人類非常重要，但在技術應用中，顏色數據通常無法提供其他資料。我們使用彩色相機，透過 HSI變換進行色調分析，以檢測可能顯示塗料厚度有問題的顏色偏差。」

任務需求和短曝光時間意味著工程師對於相機選擇有非常精確的標準設定，皮耶爾繼續說明：「主要選擇標準是全局快門和實時觸發，震動極低，因為我們必須在很短的曝光時間內(10µs的範圍內)拍攝移動中的零件。相機和Lumimax照明(iiM AG)之間的曝光（通過硬體輸入觸發）必須絕對同步。對於我們來說，很重要的一點是，感興趣區域 (ROI) 已限制在相機韌體內相關區域，來優化圖像傳輸的網絡負載。此外，我們仰賴在極高速率時還能進行可靠的數據傳輸。由於零組件已在過程中被檢測過了，因此不會出現圖像錯誤或碎片化的圖像傳輸。」

電動變焦相機可快速調整觀測範圍(FOV)

在項目過程中，團隊構建了多個系統：用於工業設置以及示範和測試目的。典型工業環境中受檢測的零組件持續不停移動，DMK 33G445和DFK 33GX273相機提供的定焦成像滿足了團隊的要求。然而，針對示範/測試系統，研究人員使用許多不同零組件進行測試，包括金屬零件，木製毛坯和3D印刷塑料，就需要具有可調節觀測範圍（FOV）的相機。The Imaging Source 兆鎂新 DMK Z12G445黑白變焦相機具有集成電動變焦功能，符合任務要求。

大規模並行處理技術可與數據傳輸保持同步並實現深度學習

通過20多種不同類型的感測器向系統傳送數據，可以應對400 MB / s量級的數據流。皮耶爾解釋：「該系統的設計吞吐速度高達1 m / s，…，每三到四秒，二十個相機模組就可以創建400張圖像。此外，來自高光譜的線陣相機和粗糙度測量系統，都必須在10秒週期內處理和評估完成。為了滿足這一要求，必須要有大規模並行數據處理的能力，包含28核心 (CPU）和顯卡（GPU）。這種並行化使檢測系統能夠與生產週期保持同步，提供具有100％控制能力的產線系統。」Xeidana的模組化框架特別針對現代多核系統能夠進行大規模並行處理的能力進行優化，使應用工程師能夠使用這個插件系統 (可透過多種不同圖像數據庫來延展新功能) 快速實現大規模並行、特殊應用的品管項目。

此系統的數據融合功能可以通過多種方式使用，取決於需要什麼樣的資料來提供最可靠的結果。除了標準的機器視覺檢測任務外，研究人員團隊目前正努力整合其他非破壞性評測技術，例如3D視覺以及不可見光的其他種類感測器（例如X射線、雷達、紫外線、太赫茲）來檢測其他類型的表面和內部缺陷。

由於Xeidana支援大規模並行處理，深度學習技術也可用於檢測標準不容易量化或定義的零組件的瑕疵檢測。皮耶爾澄清：「這些技術對於具有不規則質地的有機成分（例如木材和皮革）以及紡織品尤其重要。」 由於機器學習技術有時難以在某些情況下應用（例如，分類決策的可追溯性有限，以及在調試過程中無法手動調整演算法），皮耶爾補充：「我們主要依靠經典的圖像處理演算法和信息處理的統計方法來執行我們的項目。只有達到極限時，我們才轉向機器學習。」

致謝：The Imaging Source 兆鎂新歐洲總部是IQZeProd計畫產業工作組活躍成員，並且與研究合作夥伴進行密切的專業交流。德國測量控制和系統工程研究協會(DFMRS)的促進聯合工業研究計劃(IGF)項目IQZeProd （232 EBG）-DFMRS是由德國國際金融基金會在聯邦經濟和能源部根據德國聯邦議院決議通過的促進聯合工業研究計劃資助。請注意，促進聯合工業研究計劃項目232 EBG的最終報告已公開給德國民眾。最終報告可從德國測量控制與系統技術研究協會獲得。根據德國聯邦議院的決議，由聯邦經濟和能源部支援。

由於年初的超前防範措施有效地防止SARS CoV-2 進一步擴散，The Imaging Source 位於台北的亞洲辦公室得以正常運作，員工也能藉著參與保齡球賽來享受片刻自由及正常的生活。為了慰勞員工辛勞、增進員工的工作默契，以及讓他們更認識彼此，The Imaging Source 邀請台北辦公室的每一位員工在2020年11月6日參加保齡球比賽。保齡球大賽提供了一個機會讓台北的員工們全數歡聚一堂，放鬆，享受食物及比賽當下得時光。活動結束時，每個員工似乎都能更開放談論自己的想法，同事間也顯更親近一些了。

許多嵌入式機器視覺應用(尤其是多相機設置)需求的數據線長度超過MIPI CSI-2相機所能及的最大值(即20公分)。 藉由FPD-Link橋接器即可實現其數據線長達15米。 影像數據經由精巧(Ø 2.8 mm)的同軸電纜以高達4.16 Gbps速度傳輸，同時傳輸影像數據、控制指令及供電。

如此一來，其頻寬充裕，可以從5MP相機中，以每秒30張的幀速率傳輸影像數據。 開發人員可以在MIPI-CSI-2和FPD-Link-III板機亦或具備防護IP67等級外殼的FPD-Link-III相機之間進行選擇。 此精巧相機提供黑白與彩色不同機種選擇，裝載Sony和ONSemi最新CMOS感測器技術(全局和捲簾快門，解析度範圍自0.3MP[VGA]至8.3 MP)。

為何選擇MIPI CSI2或FPD-Link III相機介面?

The Imaging Source提供MIPI CSI-2及FDP-Link-III相機載板，可支援高達六台相機輸入(依平台而定)，將板級相機連接至NVIDIA™ Jetson Nano®, Xavier NX, AGX Xavier及Raspberry Pi 4。 有些使用者可能想知道為何選擇MIPI CSI-2或FPD-Link-III相機，而非USB-3或GigE相機。 其原因在於嵌入式平台本身的硬體功能特性，即硬體加速的影像訊號處理器(ISP)。 嵌入式平台的MIPI-CSI-2介面可直接連結ISP，以避免延遲及數據轉換問題。 The Imaging Source MIPI-CSI-2相機經過專門設計，可將原始影像數據直接傳輸至介面。 這類的嵌入式板載相機僅包括最必要的基本功能，因此特別具有成本經濟效益。 ISP能夠處理硬體加速的操作，如去馬賽克、色彩校正、色彩空間轉換、白平衡、鏡頭校正和影像數據壓縮(如H.264/H.256)。

平台為嵌入式視覺帶來AI優勢

除ISP外，上述NVIDIA嵌入式電腦(例如NVIDIA Jetson Nano, Xavier NX *及AGX Xavier *)提供了具有CUDA內核的GPU和多個MIPI-CSI-2相機介面，而造就它們完美地適用於AI和要求嚴苛的機器視覺應用。 NVIDIA平台能夠並行運作多個神經網絡，以執行圖像分割、圖像分類和對象識別。 NVIDIA SDK "JetPack" 支援所有基於NVIDIA Jetson的嵌入式平台。

NVIDIA提供廣泛的軟體庫，可進行深度學習以及影像和視訊處理。 The Imaging Source提供相應的相機驅動程式能夠完美地整合至NVIDIA軟體框架中。 而影像數據能夠直接地傳輸至預訓練的深度學習模組。

對於要求不高的影像處理任務，具備MIPI-CSI-2相機介面與ISP的Raspberry Pi 4會是一個極佳的選擇。 相同地，MIPI-CSI-2介面也能夠直接地連結至ISP。 例如，Raspberry Pi 4能夠壓縮高解析度H.264影像並經由乙太網或WLAN發送。

NVIDIA與Raspberry Pi嵌入式平台深受大型開放源代碼和創客社群支持。 支援問題及想法可以發佈在適當的論壇上，開發人員們能夠相互交流資訊。 而NVIDIA也提供以深度學習為主題的免費在線培訓課程。

* The Imaging Source最新嵌入式產品可支援 NVIDIA Xavier NX 與 AGX Xavier 平台預計將於2021年第一季度供應。 若您希望產品供應後獲得通知，請與我們聯繫。

上列文章發表於2020年9月的德語產業期刊Markt&Technik中，標題:FPD-Link III ergänzt MIPI CSI-2。

自二月以來，全球處於新冠肺炎(COVID-19)疫情的應變動態環境中。 The Imaging Source兆鎂新 不時地保持密切監控最新發展情形，進而預測、規劃任何可能影響我們供應鏈及交貨的因素。

根據州及聯邦的指導方針，我們大多數團隊成員進行居家工作，使The Imaging Source能夠保持全面性正常營運，同時，確保現場成員能夠維持適當的社交距離措施。 我們的銷售、訂單處理和技術支援團隊可如往常一樣地為您提供所有的專案和訂單服務。

The Imaging Source擁有高標充足的生產關鍵庫存，我們也將與供應商保持聯繫，確保供應鏈的完整性。 除了供應鏈管理外，我們位於德國與臺灣的兩大產線也為我們確保維持產線的靈活性及高產能。

由於目前疫情尚未穩定，若有任何重大變化會影響維持既定交期，我們將通知客戶。