The Imaging Source 官方部落格

於2020年2月25-27日期間，The Imaging Source兆鎂新的技術業務和專案經理將於德國紐倫堡所舉辦的 embedded world 展位上(2號展館, 展位號648)演示 The Imaging Source兆鎂新 針對嵌入式視覺市場所開發的最新產品。

The Imaging Source兆鎂新 針對Jetson Nano (包括支援兩台相機的最新Nano版本)以及TX2 / Xavier 所提供的NVIDIA開發套件，可以為入門嵌入式視覺的開發人員簡化其開發和設計過程。 堅固精巧的MIPI CSI-2相機模塊提供各式的解析度(全局和滾動快門)，並可以透過嵌入目標處理器中的ISP直接執行去馬賽克、色彩校正和其它後製任務。

The Imaging Source兆鎂新的FPD-Link產品於近期榮獲了 2020年度inVISION最佳創新獎，其採用FPD-Link協議為需求較長數據線的應用提供了完善的解決方案。 FPD-Link III橋接器以長達15米的數據線，並藉由一條同軸電纜同時進行數據傳輸、控制波段和供電。

眩光及反光在影像處理過程中是很常見的問題。在偏振光下許多材質會呈現反光特性，The Imaging Source 兆鎂新GigE 及 USB 偏振相機能解決檢測任務中的問題，而一般工業相機提供的視覺資訊則非常有限。以線性偏振度 (DoLP) 進行偏振影像處理可增進影像對比，也使影像分割更有效率。

偏振影像資料能簡易的整合進 HALCON，讓這些特性能輕易使用於影像處理應用案例，如完整性檢查、表面檢測等。

The Imaging Source 兆鎂新 於2019年10月3日 出席參加由自動光學檢測設備聯盟所主辦的 AOI 論壇與展覽 ，每年以國立交通大學為主辦場地，結合業界系統整合商、零件供應商以及研究人員前來參展及參觀。今年，全新5.1 百萬偏振相機首次在展場亮相，成為展示焦點，吸引許多參觀者前來攤位詢問。

Polarsens™ 全局快門CMOS 感光元件利用許多材質固有的偏振特性來可視化材料應力及表面刮痕。現場展示清楚呈現出此感光元件的片上四向(0°, 45°, 90°, 135°)濾鏡能透過AoLP(線性偏振角)及HSV(色相、飽和度、明度) 色彩映射可視化透明塑膠物體中的材料應力。目前提供 USB 3.0 (max. 75 fps)或 GigE(幀速率達24 fps) 介面，此新系列相機能可視化材料應力、表面刮痕及減少眩光、強化邊緣檢測和改善對比度。

Sony Polarsens™ 5.1百萬全局快門CMOS感光元件(IMX250MZR/IMX250MYR)能捕捉標準黑白及彩色感光元件無法獲取的影像資料。The Imaging Source 兆鎂新全新USB 3.0 及GigE偏振相機搭載偏振技術，使用四向奈米線(0°, 45°, 90°, 135°)微偏振器，置於每個2x2 像素陣列 (計算單位) 前，以捕獲多向偏振光影像。

許多材質如塑膠、玻璃、金屬及液體都會呈現固有的偏振特性，導致自然光照下的影像呈現眩光及影像偽影/退化並限制系統效率。

此系列感光元件的偏振濾鏡利用這項性質可視化各個材料應力及表面刮痕，同時也減少不必要的眩光，強化邊緣檢測或改善對比度。

The 5.1 此系列5.1百萬相機提供黑白及彩色兩種選擇，搭配GigE介面 (幀速率達24fps)或較快的USB 3.0介面(幀速率達75fps)。更多關於此款感光元件的技術資訊及參考應用，請參閱我們的白皮書。

哪些神經迴路驅動適應運動行為? 這些行為在神經編碼中又如何表現呢? 哈佛大學羅蘭研究中心(Rowland Institute)的馬蒂斯實驗室Mathis Lab 研究人員透過腦/行為互動研究，揭示了這些問題的答案。 由馬蒂斯Mackenzie Mathis博士所領導的團隊「[目的]在於瞭解神經迴路對於適應性運動行為所產生的影響」。 其研究的挑戰在於將特定的行為與特定腦部活動相連結。以老鼠作為研究個體，這些科學家們使用The Imaging SourceDMK 37BUX287相機進行高速錄影，結合實驗室自行開發的開源軟體工具DeepLabCut所寫成的機器學習演算法，來追蹤老鼠的行為事件及相應其腦部活動。

就本質上，研究人員必須能夠精確且全面地追蹤老鼠的行為並提供定量資料，來描述動物的動態。 馬蒂斯博士表示:「我們想瞭解動物們如何適應環境，而觀察牠們的運動行為是一個很好的開始，以闡釋大腦如何達成這些任務。 因此，研究計畫的第一步就是在動物學習新任務時對其進行觀察。」 其團隊借重DMK 37BUX287所構成的多相機影像追蹤系統。他們的研究個體行動相當快速，馬蒂斯博士接著表示:「…老鼠能夠在大約200毫秒內快速地觸及並抓取物體，因此我們必須採用高畫面播放速率且優質解析度的相機。」

影片錄影是有效記錄動物行為的一種方法，然而擷取姿態(即多個身體部位的幾何構型) ，多年來一直是研究人員的一項難題。 在人體研究領域中，先進的動態捕捉可透過標記來追蹤關節和四肢動作。 然而，基於種種因素，運用於研究動物體上，這種方法卻不切實際。 也就是說，至今，人們仍然使用手動數位元錄影方式來追蹤動物行為 (即以人工方式逐幀編碼標注影片) - 這種勞力密集的過程往往導致結果不夠精確，且額外增加了數百甚或數千小時的研究時間。

為了自動擷取研究個體的姿態，馬蒂斯博士團隊開發了DeepLabCut: 一套開源軟體，由使用者自訂身體部位的無標記姿態估算。 根據(人體)姿態估計演算法DeeperCut，研究人員使用基於深度卷積神經網路(CNN)的演算法，專門針對此項任務進行訓練。根據《Nature Neuroscience自然神經科學》期刊中所發表的一篇論文，作者表述該團隊藉由「調整預訓練過的模組運用至新的任務上[....過程經由] 即被稱為遷移學習(transfer learning)的現象。」而得以顯著地減少所必要的訓練資料的資料量。 DeepLabCut程式設計庫具穩健性且高效率，即使是相對少量的圖像(約200)，「其演算法亦能達到極佳的追蹤表現。」許多科學家們皆讚譽此軟體套件是一項顛覆傳統、完全嶄新的發展。 馬蒂斯實驗室也使用了The Imaging Source 的 IC Capture 並增添The Imaging Source相機應用程式camera control API至GitHub。

DeepLabCut 自動追蹤及標記(紅、白、藍點)老鼠的動態。 影像來源: Mackenzie Mathis