The Imaging Source 官方部落格

哪些神經迴路驅動適應運動行為? 這些行為在神經編碼中又如何表現呢? 哈佛大學羅蘭研究中心(Rowland Institute)的馬蒂斯實驗室Mathis Lab 研究人員透過腦/行為互動研究，揭示了這些問題的答案。 由馬蒂斯Mackenzie Mathis博士所領導的團隊「[目的]在於瞭解神經迴路對於適應性運動行為所產生的影響」。 其研究的挑戰在於將特定的行為與特定腦部活動相連結。以老鼠作為研究個體，這些科學家們使用The Imaging SourceDMK 37BUX287相機進行高速錄影，結合實驗室自行開發的開源軟體工具DeepLabCut所寫成的機器學習演算法，來追蹤老鼠的行為事件及相應其腦部活動。

就本質上，研究人員必須能夠精確且全面地追蹤老鼠的行為並提供定量資料，來描述動物的動態。 馬蒂斯博士表示:「我們想瞭解動物們如何適應環境，而觀察牠們的運動行為是一個很好的開始，以闡釋大腦如何達成這些任務。 因此，研究計畫的第一步就是在動物學習新任務時對其進行觀察。」 其團隊借重DMK 37BUX287所構成的多相機影像追蹤系統。他們的研究個體行動相當快速，馬蒂斯博士接著表示:「…老鼠能夠在大約200毫秒內快速地觸及並抓取物體，因此我們必須採用高畫面播放速率且優質解析度的相機。」

影片錄影是有效記錄動物行為的一種方法，然而擷取姿態(即多個身體部位的幾何構型) ，多年來一直是研究人員的一項難題。 在人體研究領域中，先進的動態捕捉可透過標記來追蹤關節和四肢動作。 然而，基於種種因素，運用於研究動物體上，這種方法卻不切實際。 也就是說，至今，人們仍然使用手動數位元錄影方式來追蹤動物行為 (即以人工方式逐幀編碼標注影片) - 這種勞力密集的過程往往導致結果不夠精確，且額外增加了數百甚或數千小時的研究時間。

為了自動擷取研究個體的姿態，馬蒂斯博士團隊開發了DeepLabCut: 一套開源軟體，由使用者自訂身體部位的無標記姿態估算。 根據(人體)姿態估計演算法DeeperCut，研究人員使用基於深度卷積神經網路(CNN)的演算法，專門針對此項任務進行訓練。根據《Nature Neuroscience自然神經科學》期刊中所發表的一篇論文，作者表述該團隊藉由「調整預訓練過的模組運用至新的任務上[....過程經由] 即被稱為遷移學習(transfer learning)的現象。」而得以顯著地減少所必要的訓練資料的資料量。 DeepLabCut程式設計庫具穩健性且高效率，即使是相對少量的圖像(約200)，「其演算法亦能達到極佳的追蹤表現。」許多科學家們皆讚譽此軟體套件是一項顛覆傳統、完全嶄新的發展。 馬蒂斯實驗室也使用了The Imaging Source 的 IC Capture 並增添The Imaging Source相機應用程式camera control API至GitHub。

DeepLabCut 自動追蹤及標記(紅、白、藍點)老鼠的動態。 影像來源: Mackenzie Mathis

10月8日是第四屆 STEMMER IMAGING 機器視覺技術論壇的開幕日。 預計有40家領導品牌機器視覺製造商將在一系列的演示和展會中為新血和專業人士展示最新發展和最先進的技術。 具體而言，與會者可以提升機器視覺專業知識，並與來自七個領域的專家們交流：工業物聯網 (IIOT)、嵌入式視覺、3D技術、機器學習、光譜成像、未來趨勢和基礎知識。 於歐洲五個城市的巡迴展示期間，The Imaging Source將展示其最新的嵌入式視覺解決方案，並就FPD Link III的優勢發表演說 - 此項技術允許使用長達15米的數據線。

• 2019年10月8 至 9日： 德國 慕尼黑
• 2019年10月15日： 荷蘭 斯海托亨博斯
• 2019年10月17日： 法國 巴黎
• 2019年10月22日： 瑞典 斯德哥爾摩
• 2019年11月13日至14日： 英格蘭 伯明翰

展會註冊已經開始，請點擊上方網頁連結，了解更多關於五個巡迴活動的資訊。

深圳是中國電子製造樞紐中心(經濟產量僅次於上海和北京)為中國南方首屈一指的自動化展覽會 - 2019深圳華南國際自動化展(IAMD)所在地。 The Imaging Source兆鎂新與其代理商深圳陽光視覺於2019年6月26日至28日聯袂參與展會。

在中國政府支持增進自動化和效率的政策下，使展會重點關注於自動化及其扶持實現技術：機器視覺。 The Imaging Source兆鎂新 展位現場除了有配備最新USB 3.1 (gen. 1)及GigE技術的相機展示外，並以玩具"工廠"模擬動態小型化工廠車間，裝設不同特性的相機完成典型的檢測和自動化任務。 豐富的展示陣容中還包括立體相機系統，其配備兩台DMK 38GX267相機，有如複製用於螢幕應用/貼合的高精度定位系統。

AI Labs是The Imaging Source兆鎂新 旗下致力於自動化智能及人工智能開發的子公司，近期公開發表其首項產品 - Pick & Load 拾取與裝載。

Pick & Load 拾取與裝載 是一項經濟實惠且高效的機器裝卸任務自動化解決方案。即便是中小企業現在也可以達成自動化CNC裝卸任務。 小巧且具主動式照明的3D感光元件整合至嵌入式系統及智能軟體，提供高性價比的解決方案，同時展現低功耗及精巧外型。 運用最少的時間和精力，拾取與裝載 可以將未集裝的部件有如桌台、貨架或抽屜等進行裝載和卸載的配置。

今年德國紐倫堡Embedded World展會中尋找嵌入式視覺最新趨勢的人們絕無法忽視MIPI/CSI-2的存在。 縮寫MIPI/CSI-2意指由行動產業處理器介面聯盟所規定的相機串列介面2(CSI-2) 。 此聯盟由全球250多家企業共同組織而成，旨在為行動設備規範介面，不僅包括CSI-2等相機介面，而且涵蓋了顯示器介面(顯示器串列介面2, DSI-2)或音頻設備(SoundWire, SLIMbus)。 MIPI聯盟專注於將行動終端設備的介面標準化，使各種介面能夠在同一物理層中運行。

同時，MIPI/CSI-2已經在工業領域中所使用的嵌入式系統建立了穩固的基礎。 其形成原因: 首先，SoCs(系統單晶片)源於智能手機領域，後成為工業變體使用，以CSI-2為默認介面；另一方面，MIPI介面組件非常普遍並經過完善測試、平價且節能。

MIPI視覺應用

現今具有MIPI/CSI-2輸入的SoCs經由影像信號處理器(ISP)提供硬體加速的影像預處理操作。 ISP接管諸如去馬賽克或色彩校正等運作，並且在某些平台上甚至還需要執行諸如H.264/H.265編碼或失真校正等任務。 ISP通常只處理經由MIPI/CSI-2輸入傳送的數據。 因此，排除了透過ISP處理來自GigE-Vision或USB3-Vision設備的數據。 然而，最佳使用SoC的硬體資源(包括ISP)需要MIPI/CSI-2介面。 SoC幾乎執行所有圖像預處理任務(即在工業相機的情況下通常直接地在相機中計算的運作)，允許採用外型精巧並具成本效益的相機設計。 MIPI/CSI-2的另一個推手則是如今汽車產業所使用的智慧駕駛輔助系統。 現在，幾乎每輛汽車都配備相機模組或螢幕。 除了數位後視鏡、環繞視圖、距離控制或防撞功能之外，MIPI聯盟協定更運用於資訊娛樂系統等組件。

FPD-Link III 支援長達15米數據線

然而，特別是在汽車領域，人們很快就會面臨這樣一個問題：標準帶狀電纜，例如用於智能手機於SoC和相機模組之間的數據線，其長度很少超過30公分。 例如，汽車環繞視圖應用中的相機模組則需要數米長度的數據線。 這通常適用於將相機模組安裝於系統中的工業應用。德州儀器公司的Flat Panel Display Link III (FPD-Link III)介面提供了解決方案。 該介面專為汽車應用(除純數據傳輸)傳輸高解析度視頻數據而設計，可為控制命令提供雙向通道(例如，透過I2C設置相機模組或從觸碰螢幕反饋)及經由同軸電纜供電的選項。 這類具有纖薄、靈活、平價特性的數據線，在汽車行業等價格敏感的市場領域發揮著决定性作用。 另外兩個組件(串行器/解串器)用於經由FPD-Link III傳輸MIPI/CSI-2信號: 即從MIPI/CSI-2轉換至FPD-Link III的串行器，以及從FPD-Link III轉換回MIPI/CSI-2的解串器。 當串行器直接裝置於相機模組時，解串器則位於處理SoCs的MIPI/CSI-2輸入附近。 對於使用者來說，FPD-Link III路徑是完全透明的。 The Imaging Source兆鎂新 重視對於長距離傳輸系統的需求，因此提供MIPI/CSI-2並支持FPD-Link III橋接器以符合常見的嵌入式系統如NVIDIA Jetson。

上述文章由Oliver Fleischmann博士（The Imaging Source兆鎂新 項目經理）撰寫，發表於2019年4月版(02 2019)的德文產業期刊inVISION，標題 "Einfach länger: MIPI/CSI-2 Module bis 15m Kabellänge mit FPD-Link III". 。由Vanessa Li李秉蓉翻譯中文。