|
在邊緣運算設備上，推動低功耗和低延遲深度的學習模型、計算器硬件以及人工智能推理系統這些項目的發展，持續創造令人興奮的新機遇。業界相關產業對于應用在深度學習的硬件和軟件解決方案（也稱為Edge AI，邊緣運算）的開發產生了前所未有的興趣。邊緣運算已經開始在某些指標性的應用中取得進展，例如音頻信號分類(audio classification)中的關鍵詞搜尋(keyword spotting)、異常檢測(anomaly detection)以及計算機視覺應用中的人物辨識(person detection)。具體來說，tinyML是專為超低功耗系統量身訂作的機器學習分支，具有遠大的前景。這個提案中之解決方案的效率極高（功耗為毫瓦(mW)，甚至只有微瓦(μW)），加上其可廣泛地部署到此類邊緣運算在現實環境中設備的適用性，預計在未來5年內，將應用在超過1000億個IoT傳感器和設備 。蓄勢待發之深度學習科技的未來，將通過比以往更加可負擔、具有友善生態系、以及更容易使用的智能科技，提供客戶及終端使用者更顯著的便利。 晶心科技和Deeplite很高興地宣布兩家公司最新合作成果—通過使用Deeplite獨特的優化軟件和晶心科技低功耗RISC-V CPU核心研發出具有人工智能運算能力的應用程序(AI-powered applications)。這項合作關系著重于壓縮(compressing)并加速(accelerating)著名的視覺喚醒詞(Visual Wake Words (VWW))應用程序。微型相機可以利用此類程序，進行人物圖像偵測。Deeplite及晶心科技共同獲得了領先業界的結果，從利用浮點運算的Mobilenet-v1-0.25x模型中，產出各式優化的INT8模型。本次發表的第一組研發結果側重于提高精確性，以精度為主的INT8模型優化提高了2.7％的精度，縮小了1.7倍(172 KB)的檔案大小以及提高了9%的執行速度。第二組結果主要著重于最大化壓縮(maximizing compression)。與TensorFlow Lite Micro提供的INT8 模型相比，本組專注于模型檔案尺寸最小化的模塊，成功做到縮小2.3倍(127KB)的檔案大小，更高的精度(0.7％)和提高了15％的執行速度。(表1) 表1 參考模型和優化模型的模型之檔案尺寸，精確性和運行時間之間的參數 
「我們決心為低功耗設備提供最高效，最精確的解決方案，尤其是隨著邊緣計算類型之AI越來越多地在應用在智能助理、安全監控和智能制造應用中。」 晶心科技技術長兼總經理蘇泓萌博士表示。「Deeplite的尖端軟件為AI模型優化提供了一種有效的方法，可以增強目前架構的性能。Deeplite支持我們的AndeStar V5架構，并已于第一個具有RISC-V P 擴充指令 (DSP SIMD) 的CPU核心D25F上高效率的執行；客戶能將之應用在選定的AI模型上。」 「Andes RISC-V CPU核心是非常理想的硬件的范例，替Deeplite的模型展示了優化的優點，為低成本、使用電池作為供電的設備，提供了以往無法達成的復雜智能功能。」Deeplite首席執行官Nick Romano說：「隨著我們持續在業界最大的挑戰上（如視覺喚醒詞Visual Wake Words和語音關鍵詞查詢keyword spotting）取得領先成果，我們預計由Deeplite軟件提供支持的邊緣運算AI應用將出現大幅度的成長。」 領先業界的優化Deeplite軟件結合晶心科技最新之RISC-V CPU核心，共同應用于tinyML上，可以解鎖邊緣AI運算之應用，例如語音識別或人物辨識，以滿足微控制器等級之內存及計算要求。設備代工廠和應用程序開發人員現在可以為用戶提供將其數據保存在終端設備上的優點，并同時提供日常生活中AI所需的實時且無縫式回應。 要了解技術白皮書和優化結果之詳細內容，請聯系Deeplite營銷經理Anastasia Hamel anastasia@deeplite.ai。 |
