|
單顆 SoC 支持 1 至 340 億參數(shù)的多模態(tài)大模型（Multi-Modal LLM）推理，實現(xiàn)前端低功耗生成式 AI。 美國加利福尼亞州圣克拉拉市，2024年1月8日- Ambarella (下稱“安霸”，專注 AI 視覺感知的半導體公司，納斯達克股票代碼：AMBA）于當天宣布，在 2024 國際消費電子展（CES）期間，展出在其新款 N1 系列 SoC 上運行多模態(tài)大模型（Multi-Modal LLM），其每次推理的功耗顯著低于當前市場的通用 GPU 解決方案。生成式 AI 是為了處理大規(guī)模數(shù)據(jù)集而最早應用于服務器上的變革性技術(shù)，而安霸的目標是將生成式 AI 部署于終端設備和本地硬件上，從而將其廣泛應用于視頻安防分析、機器人以及眾多工業(yè)領域。 安霸將在中高端 SoC 上提供已優(yōu)化的生成式 AI 處理。這些 AI SoC 包含了功耗低于 5 瓦的 CV72 芯片，以及最新的可應用于服務器端，功耗低于 50 瓦的 N1 芯片。與 GPU 及其他 AI 加速器相比，安霸提供了完整的 SoC 解決方案，每生成一個 token 的能效比最高可提高 3 倍，并可快捷、低成本地部署在終端產(chǎn)品中。 安霸首席技術(shù)官兼聯(lián)合創(chuàng)始人Les Kohn 表示：“生成式 AI 在我們的目標市場上實現(xiàn)了突破，之前無法想象的功能得以實現(xiàn)。使用我們的 N1 系列 SoC 來進行多模態(tài)大模型推理，將使所有的前端設備變得更智能，更低功耗，和更低成本。” 市場研究公司 Omdia 高級計算首席分析師 Alexander Harrowell 表示：“在未來 18 個月內(nèi)，幾乎所有設備前端應用都將被生成式 AI 增強。把生成式 AI 的計算轉(zhuǎn)移到設備前端的要點，就在于每瓦的 AI 性能，以及它與前端生態(tài)系統(tǒng)其余部分的集成，而不僅僅是原始數(shù)據(jù)的吞吐量。” 所有安霸的 AI SoC 均可搭配全新的 Cooper™ 開發(fā)平臺。此外，為了縮短客戶新產(chǎn)品上市的時間，安霸已預先移植和優(yōu)化了 Llama-2 等流行的大語言模型。其在 N1 芯片上運行的大語言和視覺助手 LLava 模型，可對多達 32 個攝像頭同時進行多模態(tài)視覺分析。這些經(jīng)過預訓練和調(diào)優(yōu)的模型可從 Cooper Model Garden 下載。 在現(xiàn)實世界的眾多應用里，除了語言，視覺輸入也是一種關鍵模式。安霸 SoC 的特有架構(gòu)非常適合以超低功耗同時運行視頻處理和 AI 計算。安霸的 AI SoC 并不是單一的 AI 加速器，它不僅能夠高效處理多模態(tài)大模型，還能同時執(zhí)行各種系統(tǒng)功能。 生成式 AI 將成為計算機視覺處理中跨越式的新技術(shù)，它可將上下文學習和場景理解應用于各種設備，從而涵蓋安防設施、自主機器人以及眾多工業(yè)應用。基于安霸 AI 芯片的設備端通過運行大語言模型和多模態(tài)處理可實現(xiàn)以下功能：安防視頻的上下文智能搜索、通過自然語言命令控制的機器人、以及多才多藝的AI助手，比如代碼、文本和圖像的生成等。 這些依賴攝像頭和自然語言理解的系統(tǒng)，大部分將受益于設備前端的生成式 AI 處理，其處理速度得以提高，隱私保護得到加強，并且總成本也會降低。安霸解決方案支持的本地處理也非常適合垂直領域大語言模型，這些大語言模型通常需要針對每個具體應用場景進行調(diào)整；而傳統(tǒng)的集中式服務器方案則是使用更大、功耗更高的大語言模型來滿足不同用例的要求。 基于安霸最初為自動駕駛開發(fā)的 CV3-HD 架構(gòu)，N1 系列 SoC 對總算力資源進行了針對性的優(yōu)化，從而以超極低功耗運行多模態(tài)大模型。例如，N1 SoC 在單流模式下以低于 50 瓦的功耗運行 Llama2-13B，每秒可推理 25 個 token。N1 解決方案自帶移植好的大模型，使系統(tǒng)整合更容易，因此它可快速幫助 OEM 廠商部署生成式 AI，特別是要求低功耗的各種應用，比如自帶本地應用的 AI 智能盒子、送貨機器人等，不一而足。 本周，安霸將在 CES 展會期間持續(xù)演示 N1 SoC 及其多模態(tài)大模型功能。 關于安霸 安霸的產(chǎn)品廣泛應用于人工智能計算機視覺、視頻圖像處理、視頻錄制等領域，包括視頻安防、高級駕駛輔助系統(tǒng)（ADAS）、行泊一體、汽車無人駕駛、電子后視鏡、行車記錄儀、駕駛員及艙內(nèi)智能監(jiān)控、機器人應用等。安霸的高性能、低功耗AI處理器提供超高清圖像處理、視頻壓縮及強大的神經(jīng)網(wǎng)絡處理，能夠從高分辨率視頻和雷達信息中提取有價值的數(shù)據(jù)，在智能感知、傳感器融合和中央域控處理系統(tǒng)等領域大顯身手。欲了解更多信息，請訪問 www.ambarella.com |
