|
萊迪思半導體供稿 嵌入式視覺技術不再局限于高度專業化的應用，它在各類市場上擁有廣闊的用武之地 十年前，嵌入式視覺技術主要用于比較少見、高度專業化的應用。今天，設計工程師們在越來越多新興的工業、汽車和消費電子應用中為視覺應用找到了用武之地。制造商一直以來都依賴于工業應用中的機器視覺系統，但隨著先進機器人技術和機器學習技術的涌現以及向工業4.0制造模式的轉變，嵌入式視覺應用的疆土在逐步擴大。現代汽車采用的電子產品，尤其是高級駕駛輔助系統（ADAS）和車載信息娛樂系統的快速發展也為嵌入式視頻應用帶來了契機。無人機、游戲系統、監控和安防等消費電子解決方案的開發工程師看到了嵌入式視覺技術的優勢。隨著網絡邊緣應用領域對智能功能的需求不斷上升，新興的AI解決方案將越來越依賴于嵌入式視覺技術。 我們已經可以看到許多改變。首先，對于快速部署低成本嵌入式視覺解決方案而言至關重要的許多關鍵組件和工具終于面世了。如今，設計工程師可以從各種成本較低的處理器中進行選擇，這些處理器具備小尺寸、高性能、低功耗的特性。同時，得益于快速增長的移動市場，設計工程師得以從攝像頭和傳感器的普及中受益。與此同時，軟件和硬件工具的改進有助于簡化開發并加速上市進程。本文將探討如何使用嵌入式視覺技術、采用嵌入式視覺技術的理由以及近期哪些應用最有希望采用嵌入式視覺技術。 更強處理能力 根據定義，嵌入式視覺系統實際上涵蓋了執行圖像信號處理算法或視覺系統控制軟件的任何設備或系統。智能視覺系統中的關鍵部分是進行實時高清數字視頻流處理的高性能計算引擎、大容量固態存儲、智能攝像頭或傳感器以及高級分析算法。這些系統中的處理器可以執行圖像采集、鏡頭校正、圖像預處理和分割、目標分析以及各種啟發式（heuristics）功能。嵌入式視覺系統設計工程師采用各種處理器，包括專為視覺應用設計的通用CPU、圖象處理單元（GPU）、數字信號處理器（DSP）、現場可編程門陣列（FPGA）和專用標準產品（ASSP）。上述處理器架構具備明顯的優勢和短板。在許多情況下，設計工程師將多種處理器整合到一個異構計算環境中。有時候，處理器則被集成到一個組件中。此外，一些處理器使用專用硬件來盡可能實現最高的視覺算法性能。諸如FPGA之類的可編程平臺為設計工程師提供了高度并行的計算密集型應用架構以及用于I/O擴展等其他應用的資源。 在攝像頭方面，嵌入式視覺系統設計工程師使用模擬攝像頭和數字圖像傳感器。數字圖像傳感器通常是需要可見光環境的CCD或CMOS傳感器陣列。嵌入式視覺系統也可用于感測其他數據，如紅外、超聲波、雷達和激光雷達。 越來越多的設計工程師開始轉向采用攝像頭或各種傳感器的“智能攝像頭”作為視覺系統中所有邊緣電子設備的核心。其他系統將傳感器數據傳輸到云端以減少系統處理器的負載，在這個過程中系統功耗、占用空間和成本降至最低。但是，當需要基于圖像傳感器數據進行低延遲的關鍵決策時，這種方法將面臨問題。 利用移動優勢 盡管嵌入式視覺解決方案早已面市多年，但該技術的發展速度受到了很多因素的限制。首先也是最重要的是，這項技術的關鍵要素仍沒有能夠以低成本的方式實現。特別是能夠實時處理高清數字視頻流的計算引擎尚未普及。高容量固態存儲和高級分析算法的限制也帶來了挑戰。 最近市場上的三種發展趨勢有望徹底改變嵌入式視覺系統的面貌。首先，移動市場的高速發展為嵌入式視覺設計工程師提供了海量的處理器可選方案，能夠以低功耗提供相對較高的性能。其次，MIPI聯盟推出的移動行業處理器接口（MIPI）能夠為設計工程師提供替代方案，使用符合標準的硬件和軟件組件來構建創新且具有成本效益的嵌入式視覺解決方案。最后，針對移動應用的低成本傳感器和攝像頭的激增，幫助嵌入式視覺系統設計工程師實現更好的解決方案并降低成本。 工業應用 工業應用領域中的機器視覺系統一直以來都是嵌入式視覺領域最有前景的應用方向之一。機器視覺技術是其中最成熟和數量最多的應用。它被廣泛用于制造過程和質量管理應用。通常，這些應用領域中的制造商采用由一個或多個智能攝像頭與處理器模塊組成的緊湊型視覺系統。Transparency Market Research的分析師預測，機器視覺市場將從2014年的157億美元增長至285億美元（2021年）。 今天，設計工程師為這項技術找到很多潛力無限的全新應用領域。例如，圖1中的機器視覺智能攝像頭非常適合用于監控生產線上的制造設備。設計工程師可以使用FPGA實現圖像傳感器橋接，用作一個完整的攝像頭圖像信號處理流水線（ISP），以及提供GeVision或USB Vision等互連解決方案。 
圖1：機器視覺智能攝像頭中的FPGA 另一個例子是基于FPGA的視頻采集卡（圖2），它聚合了來自多個攝像頭的數據，并進行圖像預處理，然后通過PCIe接口將數據發送到主處理器。
圖2：視頻采集卡 隨著越來越多的制造商采用工業4.0模式，工業市場對視覺系統的需求也將越來越大。在這個新時代，制造商將把先進的機器人、機器學習、3D深度測繪和工業物聯網（IIoT）整合到一起以提高組織和生產能力。在2011年發布的一篇題為“工業4.0--未來智能制造”的文章中首次提出，工業4.0代表了工業革命歷史上的第四個階段。2012年，工業4.0工作組向德國聯邦政府提出了一套實施建議。 工業革命的第一階段工業1.0在制造業中引入了水和蒸汽動力機械。勞動分工環境下首次出現的電力驅動批量生產技術奠定了工業2.0的基礎。工業的第三個時代從采用計算機開始，初次涉足自動化領域，在裝配線上用自動化機器逐漸取代人類。 今天，制造商期望工業4.0能夠幫助他們實現又一次的飛躍，進一步提高生產力。在“智慧工廠”這個概念的驅動下，工業4.0將引入物理網絡系統來監控智能工廠的生產過程并實現分權決策。這種模式將通過整合大數據與分析、IT與物聯網融合、機器人技術的最新進展以及數字供應鏈的迭代發展等理念推動行業向著數字化轉型。最后，通過互聯網，這些物理系統將實現系統交互和人機交互，成為工業物聯網（IIoT）的一部分。 一個工業4.0智慧工廠將會是什么樣子？首先，它將為機器、設備、傳感器和人員提供廣泛的互操作性和高水平的通信能力。其次，它將具有很高的信息透明度，系統通過傳感器數據創建物理世界的虛擬映射，使得信息情境化。第三，智能工廠的決策行為將高度分散，物理網絡系統盡可能自主運行。第四，這些工廠將提供高水平的技術援助，系統可以幫助彼此解決問題、做出決策并幫助人類完成太難或危險的任務。幾乎在所有情況下，制造商都將比以往更依賴嵌入式視覺系統。 當然，采用這種新模式的制造商也將面臨諸多挑戰。他們必須要開發可靠性極高和延遲極低的嵌入式視覺系統以確保物理網絡通信的正常工作。工業4.0將迫使制造商保持生產過程的完整性，同時減少人為監管。當他們在部署這些新系統時會面臨資深人員不足的問題。但好處遠遠超過了挑戰。工業4.0將會大幅提升危險工作環境中工作人員的健康和安全保障。來自制造過程中各個層面的數據可幫助制造商能夠更簡單有效地控制其供應鏈。 汽車應用 鑒于汽車領域中電子應用的迅速增長，汽車市場無疑是嵌入式視覺應用最有潛力的發展領域。高級駕駛輔助系統和信息娛樂功能的推出有望快速推動相關市場的增長。Research and Markets.com的分析師預測，2016年至2021年間，ADAS市場將以10.44％的復合年增長率增長。這些應用中最常用的嵌入式視覺產品是攝像頭模塊。供應商要么自己開發分析工具和算法，要么采用來自外部開發工程師的第三方IP。新興的汽車應用領域之一是駕駛員監控系統，該系統使用視覺應用追蹤駕駛員頭部和身體動作以進行疲勞狀態識別。另一個是視覺系統，通過監測看短信或飲食等潛在的駕駛員分心因素提高車輛操作安全。 但是汽車中的視覺系統可以做的遠不止是監控車內發生的事情。從2018年起，有一些國家的法規將要求新車必須配備后視攝像頭，以幫助司機看到車輛后方的情況。像車道偏離預警系統這樣的新應用將視頻和車道檢測算法結合起來，以評估汽車的位置。此外，市場需求也推動了閱讀警示標志、撞擊緩沖、盲點檢測、自動泊車、倒車輔助等功能的發展。所有這些功能都有助于讓駕駛變得更安全。 汽車視覺和傳感系統的發展為實現真正的自動駕駛奠定了基礎。例如，凱迪拉克將在2018年將其嵌入式視覺子系統集成到CT6轎車中，以實現業界首款解放雙手的駕駛技術SuperCruise。通過不斷分析駕駛員和道路情況，精確的LIDAR數據庫提供道路情況，而先進的攝像頭、傳感器和GPS實時反應道路的動態狀況細節，這項新技術將使駕駛變得更加安全。總體而言，汽車制造商已經形成了一致的想法，即現代車輛中的ADAS系統將需要前置攝像頭進行車道檢測、行人檢測、交通標志識別和緊急制動功能。同時還需要側面和后面的攝像頭來支持停車輔助、盲點檢測和交叉車流警報功能。 汽車制造商面臨的一個挑戰是現有電子設備中的I/O數量有限。目前主流處理器僅具備兩個攝像頭接口。然而，許多ADAS系統需要多達8臺攝像頭才能滿足圖像質量要求。設計工程師需要的解決方案要能夠為他們提供協同處理資源，將來自多個攝像頭的視頻流拼接在一起，或基于攝像頭輸入執行圖像處理功能，如白平衡、魚眼校正和除霧等，并通過單個數據流將數據發送到應用處理器（AP）。例如，許多汽車制造商提供的ADAS系統中都具備鳥瞰視圖功能，駕駛員可以看到車輛上方20英尺處向下的現場視頻。ADAS系統通過將來自4個或更多攝像頭的數據拼接為寬視野圖像實現這一功能。 以前，設計工程師在驅動每個顯示屏時都要使用一個處理器。而現在，設計工程師可以使用單個FPGA替代多個處理器，聚合所有攝像頭數據，將圖像拼接在一起，執行預處理和后處理功能，并將圖像發送到系統處理器。圖3展示了360度鳥瞰汽車攝像系統的簡化架構，該系統從位于汽車周圍的4個攝像頭（前方、后方和兩側）收集數據。系統使用單個FPGA進行各種預處理和后處理功能以及視頻數據拼接，提供顯示車輛周圍環境的360度視圖。在這種情況下，單個FPGA將取代多個處理器。
圖3：車輛360度鳥瞰攝像系統 消費電子應用 無人機、增強現實/虛擬現實（AR / VR）和其他消費電子應用為嵌入式視覺解決方案開發者提供了巨大的機遇。今天，無人機設計工程師已經知道同步無人機上的6個或更多攝像頭以創建全景視圖比構建采用2個攝像頭并將其移動180度的機械解決方案更便宜。同樣，AR / VR設計工程師將單個視頻流進行快速轉化并將內容分割為雙視頻流輸出。他們充分利用低成本移動相關技術的優勢，使用兩個MIPI DSI顯示屏，每個顯示屏對準用戶的一只眼睛，實現低延遲、低功耗，增強深度感，為用戶提供更加身臨其境的體驗（圖4）。
圖4：基于FPGA的虛擬現實系統 隨著游戲機行業的不斷發展，傳統的游戲控制器將被圖像傳感器和視頻分析器所取代，通過檢測身體動作和面部表情來控制游戲。預計這些智能控制器將逐漸引入到其他消費電子產品中，如電視機、個人電腦、智能手機和平板電腦。此外，智能家居應用（如照明、加熱和空調設備）可能會采用類似的功能并添加圖像傳感器。最終這些攝像頭將取代傳統物理控制器。 總結 不久之前，嵌入式視覺技術還在很大程度上受到組件性能的限制。智能視覺解決方案中的許多關鍵組件，特別是實時處理高清數字視頻所需的計算引擎，價格高昂超出可接受的范圍。那些日子已經一去不復返了！隨著移動處理器的發展，低功耗FPGA和ASSP的出現，MIPI接口標準的推廣以及低成本攝像頭和傳感器的普及，設計工程師可將曾經高度專業化的技術應用到智能工廠自動化、汽車電子和消費電子領域。顯然嵌入式視覺技術將在這里發揮十分重要的作用。 題外話：如何加速產品的上市進程 對于快速發展的嵌入式視覺市場而言，有一點勿庸置疑：競爭將會源源不斷。對于那些希望快速進行開發的設計工程師來說，萊迪思半導體為嵌入式視覺解決方案提供了一個易于使用的快速原型設計開發平臺。該嵌入式視覺開發工具套件包括一個由三塊開發板組成的模塊化平臺，其中包括CrossLink VIP輸入橋接板、ECP5 VIP處理器板以及HDMI VIP輸出橋接板 。 CrossLink VIP輸入橋接板提供2個用于連接索尼IMX高清攝像頭傳感器的MIPI CSI-2接口。ECP5 VIP處理器板包含一片ECP5 FPGA，專為預處理和后處理進行了優化。該處理器板還通過NanoVestor連接器與Helion Vision的高清（HD）圖像信號處理（ISP）IP支持外部圖像傳感器視頻輸入。憑借Sil1136 IC，HDMI VIP輸出板可連接標準HDMI顯示器。 上述由三塊開發板組成的開發平臺提供了開發機器人、無人機、ADAS、智能監控和AV / VR系統等應用所需的設計靈活性和低功耗特性。該套件已預先內置雙CSI-2至HDMI演示。CrossLink橋接器件接收兩路攝像頭輸入信號，并將它們合并成單個數據流，然后通過并行接口將數據發送到ECP5 FPGA。ECP5-85 FPGA接收輸入圖像數據，并在將數據發送到HDMI輸出板之前執行基本的圖像處理功能。然后輸出板將數據轉換為HDMI格式并將圖像呈現到標準顯示屏上。 |
