|
萊迪思白皮書 2020年1月 引言 網絡邊緣已迅速成為 AI 處理未來發展至關重要的一部分。隨著 5G 連接數十億設備，互連將無處不在。市場對應用人工智能和機器學習（AI/ML）的興趣不斷增長，對于在網絡邊緣運行、具備 AI/ML 處理功能的低功耗高科技設備的需求也十分巨大。在網絡邊緣進行高級處理能夠極大降低終端和終端用戶的延遲，更好地保護用戶隱私。此外，網絡邊緣智能設備能對發送到云端的數據進行篩選，從而降低網絡成本和帶寬要求。 這些網絡邊緣智能設備大多使用圖像傳感器來實現各類嵌入式視覺應用，包括對象計數和存在檢測等基于 AI/ML 的應用。然而，在網絡邊緣支持嵌入式視覺應用，要求設備具有某些設計和性能上的特征：如低功耗、高性能、高可靠性和小尺寸。針對這類應用，萊迪思推出了全新 CrossLink-NX™系列 FPGA。新的芯片旨在滿足視頻處理的最新趨勢：如混用多個傳感器和顯示屏、視頻分辨率更高、使用多個接口以及網絡邊緣 AI 處理等。 CrossLink 遇見 Nexus 為幫助開發人員支持全新及現有的嵌入式視覺系統，萊迪思推出了 CrossLinkPlus™ 這款專業化、小尺寸、低功耗 FPGA 產品系列。 
圖 1： CrossLinkPlus 與 CrossLink-NX™ 對比 CrossLinkPlus 的可編程邏輯能滿足處理需求，還支持各類接口標準，是網絡邊緣應用中視頻信號聚合和圖像協處理的絕佳選擇。CrossLinkPlus FPGA 采用 40 nm bulk CMOS 工藝制造。 針對需要更高性能的嵌入式視覺系統，萊迪思發布了 CrossLink-NX™ 系列 FPGA。這是基于萊迪思全新 FPGA 技術平臺 Lattice Nexus™ 的首款 FPGA，也是業界首款采用 28 nm 全耗盡型絕緣層上硅（FD-SOI）工藝的主流低功耗 FPGA 平臺。得益于 28nm FD-SOI 工藝以及針對低功耗和小型封裝進行了優 化的全新 FPGA 架構，CrossLink-NX™ 極大擴展了 CrossLink FPGA 系列的功能。CrossLink-NX™ 提供更低的功耗、 更小的封裝、更高的性能和可靠性以及易于使用的新工具，為開發人員提供了視頻和傳感器處理的創新選擇，其表現顯著優于同類競品 FPGA。 CrossLink-NX™ 的應用市場：汽車、移動設備、工業等 CrossLink-NX™ 系列產品非常靈活，可以滿足視頻切換和圖像處理領域多個細分市場的需求。 這些領域的應用大多需要支持在多個顯示屏、攝像頭和傳感器（圖像傳感器等）之間橋接和/或聚合數據流。此外，這些組件可用于即時視頻處理和 AI/ML 推理。由于 FPGA 具有較高的能效，因此它們可以用于電池供電的移動設備中，并且可以提供足夠的性能，在計算和工業控制應用中大放異彩。
圖2：嵌入視覺的發展趨勢 資料來源：萊迪思 在視頻監控和安防應用中，CrossLink-NX™ 可以實現 AI 推理，從而對傳感器數據進行預處理，這類應用包括人臉識別和存在檢測。此外，它還可以用于傳感器聚合和橋接。 此款芯片可用作嵌入式視覺協處理器，合并多達 14 個傳感器。它還可以用于視頻縮放、旋轉和色彩空間轉換。設計人員可以使用該芯片將一個傳感器數據流發送到多個位置，這在汽車應用中非常實用，因為攝像頭常常需要向多個處理單元提供數據。 在本白皮書的以下各節中，我們將比較 CrossLink-NX™ 和邏輯單元密度及 I/O 支持相近的FPGA。以下是萊迪思提供的性能和功耗比較測試。 高性能 CrossLink-NX™ 實現網絡邊緣 AI 人們通常認為 AI 處理需要在云端完成，然而在網絡邊緣實現設備端的 AI 功能越來越重要，因為這能夠更好地保護用戶隱私、減少上傳到云端的數據量、還能降低數據延遲以縮短設備響應時間。 對于硬件開發人員而言，多種因素導致了實現網絡邊緣 AI/ML 充滿挑戰。例如，為了提高 AI/ML 結果的準確性或實現新的應用，嵌入式視覺開發人員需要為其系統添加更多傳感器和/或更高分辨率/更高幀率的攝像頭。與此同時，嵌入式視覺設計人員希望使用符合 MIPI 標準的組件。MIPI 起初是為移動市場開發的，如今，各類應用的設計人員開始尋找方法利用應用處理器等 MIPI 組件帶來的高性能和規模經濟的優勢。
圖3 ：CrossLink-NX™ 框圖 資料來源：萊迪思 CrossLink-NX™ FPGA 擁有足夠的資源處理多個視頻數據流和即時執行 AI 計算功能，它還支持各類現有接口。 該產品系列擁有多個 MIPI D-PHY 接口和 CSI-2 攝像頭接口，旨在服務于視頻和顯示屏應用。兩個硬核 D-PHY 接口，每個接口支持四個通道，通道速率高達 2.5 Gbps（共 10 Gbps），另外的軟核 MIPI D-PHY 配置支持最多 12 個速率為 1.5 Gbps 的 MIPI 數據流。其他 I/O 包括硬核 5 Gbps PCIe Gen2 和 1066 Mbps LPDDR3 DRAM。 CrossLink-NX™ 的硬核 DSP 模塊可用于在本地處理神經網絡（NN）。該系列平均每個邏輯單元有 170 bit 存儲空間，擁有同類產品中最高的存儲與邏輯比。FPGA 的大型片上 SRAM 從 1 到 2.5 MB 不等，可存儲神經網絡激活和權重。 FD-SOI 工藝實現創新的功耗模式和更高的穩定性 萊迪思采用 FD-SOI 工藝，為開發人員管理功耗提供了一種創新的思路。該工藝可以實現在裸片的背面施加電壓（負偏壓），從而改變閾值電壓。該芯片因此可以提供兩種工作模式——低功耗模式和高性能模式。通過功耗優化，較高頻率下的工作功率可以在 200mW 左右，而靜態漏電功耗僅為十幾毫瓦。與其他同類競品相比，CrossLink-NX™ FPGA 的功耗降低多達 75％。 FD-SOI 工藝還帶來了另一個優勢，即軟錯誤（高能粒子撞擊 FPGA 中的晶體管并損壞性能的現象）大大減少。使用 FD-SOI 工藝可顯著減小芯片上容易受到軟錯誤影響的物理區域。為確保基于 SRAM 的 LUT穩定運行，還使用了存儲塊錯誤校正代碼進行軟件錯誤檢查。總而言之，基于 FD-SOI 工藝的 CrossLink-NX™ 的軟錯誤率（SER）比 bulk CMOS 工藝制造的同類競品 FPGA 解決方案降低 100 多倍。 CrossLink-NX™ 尺寸更小 移動應用往往有非常嚴格的空間限制。萊迪思將推出該系列的兩款產品，分別支持不同級別的邏輯大小（17K 或 40K 邏輯單元）。CrossLink-NX™ 系列的一大優勢是它占據的空間極小，最小尺寸僅為 3.7 mm x 4.1 mm（17K 邏輯單元器件）。CrossLink-NX™ 系列的器件引腳兼容，因此同樣的電路板設計可用于不同的應用，還可以對使用這些器件的設計的未來版本進行性能升級。 瞬時啟動 CrossLink-NX™ FPGA 使用 quad-SPI 閃存存儲配置文件。可以在 3 毫秒內首先配置 I/O 引腳，然后在 14 毫秒內即可完成邏輯配置。這些特性實現了瞬時啟動，降低了在許多應用中可能出現的運行問題。 CrossLink-NX™ 提供易用的體驗 CrossLink-NX™ FPGA 擁有大量不斷更新的軟件支持，包括萊迪思 Radiant 設計工具（最近 的更新包括了片上調試、信號完整性分析和工程變更單編輯器等功能）和用于嵌入式視覺應用的各類 IP 核（MIPI D-PHY、格式轉換、PCIe、SGMII 和 OpenLDI）。萊迪思還提供針對常見應用（例如攝像頭聚合）的開發板和參考設計，未來將發布更多開發板和參考設計。 結論 萊迪思通過 CrossLink-NX™ FPGA 系列產品，將可編程性與高性能處理及高速 I/O 互連相結合。這些器件將以高度的靈活性、低功耗、可編程性、小尺寸和高速視頻接口，為開發人員提供實現嵌入式智能視覺應用的多種選擇。該系列僅僅是基于萊迪思 Nexus FPGA 技術平臺的首款產品，未來的新產品值得期待！ CrossLink 產品系列參數
|
