CEVA推出用于人工智能和機器學習 (AI/ML) 推理工作的最新一代處理器架構NeuPro-M。NeuPro-M由多個專用協(xié)處理器和可配置硬件加速器組成，是瞄準廣闊的邊緣 AI 和邊緣計算市場的異構處理器架構，能夠同時無縫處理深度神經(jīng)網(wǎng)絡的各種工作，性能較上一代產(chǎn)品提升 5到15 倍。NeuPro-M支持系統(tǒng)級芯片(SoC)和異構SoC (HSoC)可擴展性，最高性能可達 1,200 TOPS，并提供可選的穩(wěn)健安全啟動和端至端數(shù)據(jù)隱私功能，開創(chuàng)了業(yè)界先河。
NeuPro–M系列處理器初始包含以下預配置內核： • NPM11 – 單個 NeuPro-M 引擎，在 1.25GHz 下算力高達 20 TOPS • NPM18 – 8 個 NeuPro-M 引擎，在 1.25GHz 下算力高達 160 TOPS 在處理 ResNet50卷積神經(jīng)網(wǎng)絡時，單個 NPM11內核可將性能提升至上一代產(chǎn)品的五倍，并將內存帶寬消耗減少六倍，從而實現(xiàn)高達 24 TOPS/W的出色功效，完美體現(xiàn)其業(yè)界領先的性能水平。 以成功的上一代產(chǎn)品為基礎，NeuPro-M能夠處理所有已知的神經(jīng)網(wǎng)絡架構，并集成了下一代網(wǎng)絡，如transformer、3D convolution、self-attention和全部類型的循環(huán)神經(jīng)網(wǎng)絡的原生支持。經(jīng)優(yōu)化的NeuPro-M可處理 250 多種神經(jīng)網(wǎng)絡、450 多種AI 內核和 50 多種算法。嵌入式矢量處理單元(VPU)確保對未來新的神經(jīng)網(wǎng)絡拓撲和AI處理工作提供基于軟件的驗證和支持。而且，對于常見基準測試，CDNN離線壓縮工具可以將NeuPro-M的FPS/Watt性能提高 5到10 倍，并且對精度僅有極小的影響。 CEVA副總裁兼視覺業(yè)務部門總經(jīng)理 Ran Snir評論道：“隨著生成的數(shù)據(jù)越來越多，以及傳感器相關軟件工作負載不斷遷移到神經(jīng)網(wǎng)絡以獲得更好的性能和效率，對邊緣 AI和邊緣計算的人工智能和機器學習處理需求的增速驚人。由于這些設備的功率預算保持不變，我們必需找到創(chuàng)新方法，在這些日益復雜的系統(tǒng)邊緣使用人工智能。我們利用在數(shù)百萬臺無人機、安全攝像頭、智能手機和汽車系統(tǒng)應用等設備中部署 AI 處理器和加速器的豐富經(jīng)驗來設計NeuPro-M架構。NeuPro-M創(chuàng)新的分布式架構和共享內存系統(tǒng)控制器將帶寬消耗和延遲降至最低，并提供出色的整體利用率和電源效率。這允許我們的客戶在 SoC 或 小芯片 (chiplet) 中連接多個NeuPro-M兼容內核來應對最嚴苛的 AI 工作，從而將智能邊緣處理器設計提升至全新的水平。” NeuPro-M異構架構由特定功能協(xié)處理器和負載平衡機制組成，相比上一代產(chǎn)品，這是實現(xiàn)巨大的性能和效率飛躍的重要因素。通過將控制功能分配給本地控制器并以分層方式實現(xiàn)本地內存資源，NeuPro-M 實現(xiàn)了處理數(shù)據(jù)流的靈活性，從而實現(xiàn)超過90%的利用率，并且在任意給定時間內防止不同協(xié)處理器和加速器出現(xiàn)數(shù)據(jù)不足現(xiàn)象。它使CDNN 框架根據(jù)特定網(wǎng)絡、所需帶寬、可用內存和目標性能來實施各種數(shù)據(jù)流方案，從而獲得最佳的負載平衡。 NeuPro-M 架構亮點包括： • 由 4K MACs(乘累加單元)組成的主網(wǎng)格陣列，混合精度為 2到16 位 • 用于權重和激活操作的Winograd transform引擎，可將卷積時間減少兩倍，并允許在精度降低到少于0.5% 的情況下進行 8 位卷積處理 • 用于避免每層具有零值權重或激活操作的Sparsity引擎，最多可將性能提升四倍，同時減少耗用內存帶寬和降低功耗 • 具有完全可編程的矢量處理單元，用于處理未獲支持的全新神經(jīng)網(wǎng)絡架構(具有全部數(shù)據(jù)類型)，從 32 位浮點到 2 位二進制神經(jīng)網(wǎng)絡 (BNN) • 將可配置的權重數(shù)據(jù)壓縮至兩位，同時讀取內存時進行實時解壓縮以減少耗用內存帶寬 • 使用動態(tài)配置兩級內存架構，最大限度地減少與外部 SDRAM 之間的數(shù)據(jù)傳輸功耗 使用NeuPro-M 架構中創(chuàng)新功能，同時使用 Winograd 變換正交機制、Sparsity引擎和低分辨率 4x4 位激活，可將網(wǎng)絡(如 Resnet50 和 Yolo V3)的循環(huán)次數(shù)減少三倍以上。 由于神經(jīng)網(wǎng)絡權重和偏差以及數(shù)據(jù)集和網(wǎng)絡拓撲成為所有者的重要知識產(chǎn)權，因而業(yè)界迫切需要保護這些信息免遭未經(jīng)授權的使用。NeuPro-M架構可選用信任根、身份驗證和加密加速器來支持安全接入。 針對汽車市場，CEVA提供NeuPro-M 內核及其 CEVA 深度神經(jīng)網(wǎng)絡 (CDNN)深度學習編譯器和軟件工具包，不僅符合汽車 ISO26262 ASIL-B 功能安全標準，并滿足嚴格的質量保證標準 IATF16949 和 A-Spice要求。 結合CEVA 屢獲殊榮的神經(jīng)網(wǎng)絡編譯器 CDNN 及其功能強大的軟件開發(fā)環(huán)境，NeuPro-M架構可為客戶提供一個完全可編程的硬件/軟件 AI開發(fā)環(huán)境，最大限度地提升 AI操作性能。CDNN 包含創(chuàng)新的軟件，能夠充分利用客戶的 NeuPro-M定制硬件來優(yōu)化功耗、性能和帶寬。CDNN 軟件還包含了用于減少耗用內存和優(yōu)化負載平衡算法的內存管理器，并廣泛支持各種網(wǎng)絡格式(包括 ONNX、Caffe、TensorFlow、TensorFlow Lite、Pytorch 等)。CDNN 與常見的開源框架 (包括 Glow、tvm、Halide 和 TensorFlow) 兼容，并包含模型優(yōu)化功能，例如“層融合(layer fusion)”和“訓練后量化(post training quantization)”，同時使用精確的守恒方法。 目前CEVA向主要客戶提供NeuPro-M授權許可，并于今年第二季提供全面授權許可。CEVA 還為客戶提供異構 SoC 設計服務，幫助其進行系統(tǒng)集成并支持系統(tǒng)設計和小芯片開發(fā)，從而為NeuPro-M客戶帶來裨益。如需了解更多的信息，請訪問公司網(wǎng)頁 https://www.ceva-dsp.com/product/ceva-neupro-m/。 |
