來源:富昌電子 作者:Alex Watson,富昌電子 EMEA 業務拓展經理(傳感器), David Mills,安森美半導體智能傳感事業部 EMEA 戰略業務拓展經理 支持人工智能(AI)和機器學習的技術在過去三年已進入工業電子的主流。在 21 世紀的大部分時間里,實施人工智能一直是一項高成本、高強度的工作,只有少數世界上最富有、最強大的公司和政府機構才能實現。 然而,現在低成本的微處理器和 FPGA 已經獲得了足夠的計算能力來運行 AI 推理引擎,并且互聯網的超大規模使得其能夠生成大量標記數據,以用作機器學習的訓練數據集。 因此,幾乎所有工業 OEM 廠商(包括初創公司)都可以考慮部署人工智能技術來增強現有產品的應用,甚至創造全新的應用。 圖像處理已經成為人工智能技術最有效的應用之一。例如,在智能交通系統 (ITS) 中,成像系統可用于評估交通流量并自動調節交通信號,或向附近車輛提供有關空閑停車位位置的實時信息(見圖 1)。在智能農業中,相機可以測量樹上或灌木上果實的顏色,并指示自動收割設備只采摘成熟的果實。在安防和監控方面,成像可以支持自動訪問控制設備,可以識別授權用戶的面部。 圖 1:自動提供給附近汽車的可用停車位位置的實時信息可以節省司機的時間并減少局部擁堵(圖片來源:Rachmaninoff,知識共享許可協議) 這些是已經在使用或正在開發中的應用,還有數以千計的尚未被設計或發現的智能成像潛在應用 這意味著 CMOS 圖像傳感器的部署模式,以及其嵌入到的相機即將徹底改變。自半導體圖像傳感器發明以來,市場一直為使用大量器件的少數制造商供貨,即:少數幾家相機和攝像機制造商,以及后來的智能手機制造商。用于工業、專業或消費用途的相機制造商是成像專家:他們擁有自己的專有開發工具和技術,可在相機設計中應用圖像傳感器,并且圖像傳感器制造商提供專門的甚至定制的產品來滿足他們確切的規格需求。 最新的人工智能驅動的圖像傳感器市場非常不同:農場收割機、交通控制信號或智能門鎖的制造商自身通常幾乎沒有成像專業知識。由于與相機制造商相比,他們需要的圖像傳感器數量很少,因此他們希望從一系列標準產品中進行選擇,以便從較低的單價中受益。 現在,圖像傳感器制造商正在開發新產品,以滿足希望將智能成像添加到其產品功能中的嵌入式系統制造商的這一新興需求。他們發現這些新用戶的需求與大型相機制造商的需求不同。圖像傳感器技術評估的傳統重點是光學性能特性,例如: · 分辨率 · 動態范圍 · 幀率 · 靈敏度和弱光性能 · 噪音 然而,本文認為嵌入式系統開發人員將對新一代傳感器的兩個重要特性同樣感興趣:平臺功能以及用戶友好的開發工具和資源的可用性。 用于開發多功能終端產品系列的平臺 ITS、智能農業、安全和其他領域的利基應用對標準圖像傳感器產品的新興需求正在促使少數占主導地位的圖像傳感器制造商擴展其產品范圍,提供新的標準產品。 安森美半導體已經認識到,許多這些新的利基客戶希望開發多種產品以滿足不同的性能或應用要求,并以不同的價格進行銷售。因此,安森美半導體的 XGS 圖像傳感器系列提供分辨率從 2百萬像素到 45百萬像素的器件。 XGS 系列中的這些傳感器基于相同的平臺,具有兩種封裝選項:分辨率為 2百萬像素、3百萬像素、5百萬像素、8百萬像素、9.4百萬像素、12百萬像素或 16百萬像素的 XGS 傳感器共享同一個通用封裝,并與行業標準(緊湊的 29mm x 29mm 相機尺寸)兼容。分辨率為 20百萬像素、30百萬像素、32百萬像素或 45百萬像素的 XGS 傳感器支持 Super 35mm 光學格式。 XGS 系列足夠廣泛,可以支持各種價格和性能要求。在高性能端,XGS 45000 以高達 60 幀/秒的速度生成 8K(8192 像素 x 4320 像素)視頻輸出。成本最低的器件 XGS 2000 以高達 220 幀/秒的速度生成單色或拜耳色配置、全 1920 像素 x 1200 像素分辨率的 12 位輸出。 所有 XGS 系列傳感器都受益于包含全局快門的先進像素設計,在捕捉快速移動的圖像時不會產生模糊或圖像偽影。該像素架構提供高帶寬,同時以低功耗和低噪聲運行。 為新的相機設計者提供完成工作所需的工具 對開發人工智能驅動成像系統的新客戶的需求的一個回應是提供靈活的圖像傳感器產品平臺。 但是,這群新興客戶與成熟的相機制造商還有另一種不同之處:他們沒有內部可用的復雜的專有光學開發工具套件和原型開發平臺。如果沒有這些工具,開發新的、面向應用的相機的任務將非常困難且耗時。 安森美半導體通過提供自己的資源套件來支持從評估到軟件開發再到相機設計的每個開發階段,從而滿足這一新興需求。 DevWare 基于 PC 的應用軟件支持復雜的圖像傳感器評估。當與 USB3 成像基板和 XGS 圖像傳感器板結合使用時,它提供了高捕獲率和靈活的評估選項。當開發人員希望能夠自由地評估 XGS 圖像傳感器性能和像素操作的各個方面,并訪問所有寄存器設置時,DevWare 平臺是理想的選擇。 X-Celerator 支持系統軟件開發:它包含一個 FPGA 夾層卡 (FMC) 形式的攝像頭,提供了與標準 FPGA 開發環境的直接連接(見圖 2)。X-Celerator 由公共 FPGA 代碼支持,因此使用它不需要軟件許可協議。這個開發平臺的一個重要優勢是開發團隊可以在他們自己的硬件設計最終確定之前編寫相機軟件,使硬件和軟件團隊能夠并行工作,縮短上市時間。 圖 2:X-Celerator 相機套件支持在基于 FPGA 的硬件環境中進行軟件開發(圖片來源:安森美半導體) 使用安森美半導體的 X-Cube 參考設計可以加速相機硬件的設計,該參考設計是一個具有 MIPI 接口的完整的端對端相機方案(見圖 3)。X-Cube 設計支持采用行業標準的 29mm x 29mm 外形、分辨率高達 16M百萬像素的所有 XGS 圖像傳感器,可使用 C 接口或 S 接口透鏡。 圖 3:X-Cube 參考設計提供基于分辨率高達 16百萬像素的 XGS 圖像傳感器的完整相機系統(圖片來源:安森美半導體) 適配器板提供了連接至 USB3 基板的接口,將參考設計鏈接到 DevWare 軟件,從而在 PC 上實現圖像捕獲、處理和分析。安森美半導體提供所有設計文件,包括原理圖、布局和透鏡安裝 CAD,供客戶使用和修改。 支持構建完整的基于人工智能的成像系統 安森美半導體的 XGS 圖像傳感器可與市場上傳統光學方面的最佳產品相媲美,提供高分辨率、快速幀速率和低功耗。工業客戶的重大突破是安森美半導體以新方式支持沒有或幾乎沒有相機專業知識的OEM廠商,提供豐富的開發資源和靈活的圖像傳感器平臺。 安森美半導體的授權分銷商富昌電子可為非視覺專家的嵌入式系統 OEM 廠商提供支持。富昌電子可以通過其在英國和歐洲的區域成像專家,以及為圖像傳感器買家提供行業領先的供應鏈服務,為新相機的開發提供深入的技術支持。富昌電子還為基于 AI 的成像應用提供全方位的支持組件,包括來自 Microchip、Lattice 和 Quicklogic 的一系列用于 AI 后端的 FPGA 產品 |