|
來源：貿(mào)澤電子 作者：Doctor M 隨著移動計(jì)算和物聯(lián)網(wǎng) (IoT) 應(yīng)用的爆炸性增長，數(shù)以十億計(jì)的移動和聯(lián)網(wǎng)設(shè)備正在連接到互聯(lián)網(wǎng)，并在網(wǎng)絡(luò)邊緣生成海量數(shù)據(jù)。這些數(shù)據(jù)呈現(xiàn)出分散性、碎片化的特點(diǎn)，云計(jì)算雖然有強(qiáng)大的數(shù)據(jù)處理能力，但很難實(shí)現(xiàn)全面的計(jì)算覆蓋，而邊緣計(jì)算則可以極大地緩解云計(jì)算的壓力。 根據(jù)Machina Research的預(yù)測，到2025年全球物聯(lián)網(wǎng)連接數(shù)將猛增至270億個(gè)。事實(shí)上，大多數(shù)物聯(lián)網(wǎng)設(shè)備位于遠(yuǎn)離云計(jì)算的邊緣側(cè)，若在云數(shù)據(jù)中心收集這些設(shè)備產(chǎn)生的數(shù)據(jù)，會產(chǎn)生非常高的延遲，并占用大量的網(wǎng)絡(luò)帶寬。邊緣智能（Edge AI）可依靠設(shè)備自身的硬件來處理與機(jī)器學(xué)習(xí)和深度學(xué)習(xí)相關(guān)的數(shù)據(jù)，此時(shí)的物聯(lián)網(wǎng)設(shè)備不僅是一個(gè)數(shù)據(jù)收集器，更應(yīng)是具有一定數(shù)據(jù)處理能力的執(zhí)行器。 邊緣智能中不可忽視的“軟”技術(shù) Edge AI是一個(gè)將邊緣計(jì)算和人工智能（AI）結(jié)合在一起的系統(tǒng)，其目標(biāo)是使用機(jī)器學(xué)習(xí)算法處理本地硬件設(shè)備生成的數(shù)據(jù)。Edge AI的優(yōu)勢不僅是數(shù)據(jù)處理速度快，出色的靈活性使得智能設(shè)備足以支持眾多行業(yè)應(yīng)用。此外，通過增強(qiáng)的安全功能，Edge AI顯著提高了數(shù)據(jù)的安全性，受Edge AI驅(qū)動的設(shè)備有助于將安全風(fēng)險(xiǎn)降至最低。 在實(shí)際部署中，邊緣設(shè)備是能夠在設(shè)備本身執(zhí)行計(jì)算任務(wù)的終端設(shè)備或邊緣服務(wù)器，可能需要更多的硬件和軟件來實(shí)現(xiàn)最佳的輸出和本地存儲需求。作為邊緣智能的靈魂，Edge AI芯片的作用不言而喻，進(jìn)入該行業(yè)的代表性企業(yè)有NVIDIA、Intel、NXP、Xilinx、ST、TI、Maxim等國際知名企業(yè)，也有寒武紀(jì)這樣的國內(nèi)后起之秀，他們的產(chǎn)品讓Edge AI的應(yīng)用更加接近現(xiàn)實(shí)世界。 然而，再強(qiáng)大的硬件如果沒有軟件的加持也會失去靈魂，無法發(fā)揮其應(yīng)用的功能。以機(jī)器學(xué)習(xí)（ML）為例，如果將其添加到Edge AI軟件中，可以顯著增強(qiáng)物聯(lián)網(wǎng)數(shù)據(jù)分析和決策的能力。根據(jù)Astute Analytica的研究，預(yù)計(jì)全球Edge AI軟件市場在2021-2027年間將以29.8%的復(fù)合年增長率增長，到2027年將形成80.498億美元的市場。 軟件開發(fā)工具主要由編譯器、調(diào)試器、操作系統(tǒng)、庫等構(gòu)成，包含了用于開發(fā)實(shí)時(shí)嵌入式處理器系統(tǒng)的大多數(shù)標(biāo)準(zhǔn)工具庫，同時(shí)還可能添加了專門的應(yīng)用庫，以及用于軟件開發(fā)的特定供應(yīng)商的開發(fā)工具。在Edge AI應(yīng)用中，大多數(shù)供應(yīng)商使用專用的計(jì)算設(shè)備如GPU、DSP、FPGA等加速CPU，這種擴(kuò)展的CPU編程模型需要定制版本的標(biāo)準(zhǔn)開發(fā)工具。他們在開發(fā)自己的優(yōu)化軟件工具鏈的同時(shí)，還可能與第三方軟件工具供應(yīng)商合作，以確保其產(chǎn)品得到廣泛支持。 01 JetPack SDK：支持NVIDIA Jetson邊緣計(jì)算平臺 NVIDIA Jetson平臺是行業(yè)領(lǐng)先的人工智能硬件平臺之一，由英偉達(dá)（NVIDIA）公司提供，該平臺包括小型高性能邊緣計(jì)算機(jī)模組（Jetson模組）、可加速軟件的JetPack SDK，以及包含傳感器、SDK、服務(wù)和產(chǎn)品的生態(tài)系統(tǒng)。其中的Jetson模組（SOM）包括CPU、GPU、高速接口、內(nèi)存、電源管理等。 靈活的模塊化產(chǎn)品組合是NVIDIA Jetson的主要優(yōu)勢。無論是小企業(yè)還是大型企業(yè)，都可以在一系列Jetson模塊中找到非常適合自身應(yīng)用的那一款。在四大系列產(chǎn)品中，Jetson Nano模組屬于經(jīng)濟(jì)高效的入門級產(chǎn)品；Jetson TX1模組是為外圍機(jī)器學(xué)習(xí)和AI應(yīng)用設(shè)計(jì)的第一代Jetson模塊，主要用在制造業(yè)。 新一代的Jetson TX2模組與Jetson TX1引腳兼容但性能提高了一倍，是Jetson Nano性能的2.5倍，但功耗僅有7.5W。該系列中的Jetson TX2i在工業(yè)機(jī)器人和醫(yī)療設(shè)備等領(lǐng)域有著廣泛的應(yīng)用；Jetson Xavier NX是一款外形小巧的量產(chǎn)產(chǎn)品，支持所有熱門AI框架，該模組將高達(dá)21 TOP的加速AI計(jì)算帶到邊緣端，能并行運(yùn)行多個(gè)現(xiàn)代神經(jīng)網(wǎng)絡(luò)，處理來自多個(gè)高分辨率傳感器的數(shù)據(jù)。Jetson AGX Xavier是專為自主機(jī)器打造的邊緣計(jì)算機(jī)模組，外形緊湊、節(jié)能高效，它的性能大約是Jetson TX2i的20倍，是英偉達(dá)AI嵌入式系統(tǒng)中性能最高的模組。 
圖1：JetPack版本發(fā)展情況 (圖源：NVIDIA) 對NVIDIA Jetson平臺而言，除了擁有豐富的硬件模組可供選擇，統(tǒng)一的軟件開發(fā)環(huán)境和完整的生態(tài)系統(tǒng)是其深受行業(yè)好評的另一優(yōu)勢。Jetson平臺中用于軟件加速的JetPack SDK支持所有Jetson模組和開發(fā)者套件，是構(gòu)建AI應(yīng)用的全面解決方案。經(jīng)過不斷地演進(jìn)，目前，JetPack 4.4是版本最高的正式版。 JetPack SDK包含適用于Linux操作系統(tǒng)的最新Linux驅(qū)動包 (L4T) 以及用于深度學(xué)習(xí)、計(jì)算機(jī)視覺、加速計(jì)算和多媒體的CUDA-X加速庫與API。它還包含用于主機(jī)和開發(fā)者套件的示例、文檔和開發(fā)者工具，并支持更高級別的SDK，比如用于視頻分析的DeepStream SDK和用于機(jī)器人開發(fā)的Isaac SDK。JetPack SDK捆綁了所有Jetson平臺軟件，包括TensorRT、cuDNN、CUDA Toolkit、VisionWorks、GStreamer和OpenCV，所有這些都是在L4T和LTS Linux內(nèi)核之上構(gòu)建的。 此外，Jetson還與其他NVIDIA平臺上所用的相同AI軟件和云原生工作流相兼容，能為客戶提供在邊緣端構(gòu)建軟件定義的智能機(jī)器所需的性能和功耗。 02 eIQ：NXP機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境 NXP (恩智浦) 的EdgeVerse平臺是一個(gè)功能全面的邊緣計(jì)算和安全平臺，它通過廣泛的可擴(kuò)展嵌入式處理產(chǎn)品組合，將實(shí)現(xiàn)高性能和高能效計(jì)算的構(gòu)建模塊聚合在一起。該平臺包含NXP業(yè)界領(lǐng)先的可擴(kuò)展嵌入式處理、安全、軟件以及行業(yè)解決方案，非常適合物聯(lián)網(wǎng)、工業(yè)和汽車市場等邊緣應(yīng)用。具體涉及的產(chǎn)品有i.MX嵌入式處理產(chǎn)品組合和Layerscape應(yīng)用處理器、K32、LPC和Kinetis微控制器、i.MX RT跨界處理器，以及車用微控制器和處理器等。 · eIQ機(jī)器學(xué)習(xí)（ML）軟件開發(fā)環(huán)境支持在EdgeVerse微控制器、i.MX RT跨界MCU和i.MX系列應(yīng)用處理器上使用ML算法。該軟件利用開源的專有技術(shù)，可完全集成到恩智浦MCUXpresso軟件開發(fā)套件和Yocto開發(fā)環(huán)境中。 · eIQ擁有一套全面的工作流程工具、推理引擎、神經(jīng)網(wǎng)絡(luò)（NN）編譯器，以及經(jīng)過優(yōu)化的數(shù)據(jù)庫，幫助簡化并加快機(jī)器學(xué)習(xí)開發(fā)。最新擴(kuò)展的eIQ軟件開發(fā)環(huán)境，添加了全新eIQ Toolkit工作流程工具、基于GUI的eIQ門戶開發(fā)環(huán)境，以及針對i.MX和i.MX RT設(shè)備進(jìn)行優(yōu)化的DeepViewRT推理引擎。 · eIQ Toolkit的功能是提供簡單的工作流程以及機(jī)器學(xué)習(xí)應(yīng)用示例。在eIQ門戶中，該工具套件還有一個(gè)基于GUI的開發(fā)選項(xiàng)，開發(fā)人員可根據(jù)自己的喜好選擇使用命令行主機(jī)工具。借助eIQ門戶，能輕松創(chuàng)建、優(yōu)化、調(diào)試、轉(zhuǎn)換并導(dǎo)出機(jī)器學(xué)習(xí)模型，也可以從TensorFlow、ONNX和PyTorch機(jī)器學(xué)習(xí)框架中導(dǎo)入數(shù)據(jù)集和模型。 推理引擎是機(jī)器學(xué)習(xí)開發(fā)項(xiàng)目的核心，也是機(jī)器學(xué)習(xí)應(yīng)用的運(yùn)行組件。eIQ機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境支持使用針對Glow、ONNX和TensorFlow Lite等i.MX設(shè)備和MCU進(jìn)行優(yōu)化的開源推理引擎進(jìn)行推理。新增的DeepViewRT推理引擎是一款經(jīng)過優(yōu)化的運(yùn)行時(shí)推理引擎，可在i.MX RT跨界MCU和i.MX 8M系列應(yīng)用處理器上運(yùn)行機(jī)器學(xué)習(xí)模型，具有在Arm Cortex-M/A內(nèi)核、GPU和NPU上運(yùn)行推理的能力，還可作為恩智浦MCU Xpresso SDK版本和Yocto BSP版本（用于基于Linux操作系統(tǒng)開發(fā)）的中間件。
圖2：eIQ機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境 (圖源：NXP) 03 Vitis AI：Xilinx人工智能推斷軟件開發(fā)工具 Vitis統(tǒng)一軟件平臺是被Xilinx (賽靈思) 視為具有里程碑式意義的產(chǎn)品，這是一款從云到端、從軟件到AI都提供了綜合全面的庫和模型的統(tǒng)一軟件平臺。其中，AI開發(fā)人員可以利用Vitis AI高層次框架訓(xùn)練自己的模型。在Vitis AI架構(gòu)中，AI Model Zoo開放了一系列來自流行框架Pytorch、Tensorflow、Tensorflow 2和Caffe的現(xiàn)成深度學(xué)習(xí)模型，適用于在Xilinx硬件平臺（包括邊緣器件和Alveo卡）上進(jìn)行人工智能推斷。 Vitis AI的開發(fā)套件包括：AI優(yōu)化器 (AI Optimizer) 、AI量化器 (AI Quantizer) 、AI編譯器 (AI Compier) 、AI分析器 (AIProfiler) 。使用Vitis AI，能在邊緣器件上為IoT、自動駕駛及ADAS、醫(yī)療成像以及視頻分析等應(yīng)用實(shí)現(xiàn)高效AI計(jì)算。
圖3：Xilinx人工智能推斷軟件開發(fā)工具Vitis AI內(nèi)部架構(gòu) (圖源：Xilinx) Vitis AI開發(fā)套件中的AI優(yōu)化器采用領(lǐng)先的模型壓縮技術(shù)，在對精度影響極小的情況下，將模型的復(fù)雜性降低5至50倍，這種深度壓縮技術(shù)將AI推斷性能提升到一個(gè)新的層次；AI量化器則通過將32位浮點(diǎn)權(quán)值和激活量轉(zhuǎn)換為INT8這樣的定點(diǎn)網(wǎng)絡(luò)模型，在不影響預(yù)測精度的情況下，大幅降低計(jì)算的復(fù)雜度。 由于定點(diǎn)網(wǎng)絡(luò)模型需要的內(nèi)存帶寬更少，因此比浮點(diǎn)網(wǎng)絡(luò)模型的速度更快，電源效率也更高；AI編譯器的主要作用是將AI模型映射至高效指令集及數(shù)據(jù)流，還可執(zhí)行高級優(yōu)化任務(wù)，如層融合和指令排程等，并盡量重復(fù)使用片上內(nèi)存；借助Vitis AI中的AI配置器，程序員能夠深入分析AI推斷實(shí)現(xiàn)方案的效率和利用率；Vitis AI庫是一組高層次庫和API，通過深度學(xué)習(xí)處理器單元（DPU）進(jìn)行有效的AI推斷，為Xilinx平臺上的AI模型部署提供了易于使用的接口。 結(jié)語 邊緣人工智能應(yīng)用程序能夠在現(xiàn)場處理數(shù)據(jù)、安全傳輸數(shù)據(jù)，并提高邊緣人工智能設(shè)備的隱私。因無需首先向云端發(fā)送數(shù)據(jù)，邊緣人工智能還有效縮短了生成結(jié)果的周轉(zhuǎn)時(shí)間。IoT的高度數(shù)據(jù)驅(qū)動特性進(jìn)一步說明了現(xiàn)場數(shù)據(jù)處理對邊緣人工智能應(yīng)用的需求。現(xiàn)在，許多企業(yè)已經(jīng)認(rèn)識到，邊緣人工智能不僅僅是一種選擇，更是一個(gè)將以各種方式徹底改變行業(yè)的未來技術(shù)。IDC的分析數(shù)據(jù)顯示，到2023年，在新的企業(yè)IT基礎(chǔ)設(shè)施中，超過50%將部署在邊緣，而不是企業(yè)數(shù)據(jù)中心。預(yù)計(jì)到2024年，邊緣應(yīng)用的數(shù)量將增加800%。 為了在空間尺寸緊張，功耗、散熱和成本受限的環(huán)境中高效運(yùn)行，邊緣人工智能解決方案需要高集成度、高速和低功耗以及高效率的軟硬件產(chǎn)品來支撐。優(yōu)化的計(jì)算架構(gòu)和芯片產(chǎn)品，讓邊緣計(jì)算獲得了可靠的硬件支撐。為了建立一個(gè)高效的邊緣人工智能系統(tǒng)，還必須有一個(gè)功能全面的軟件環(huán)境來助力，現(xiàn)有的邊緣智能芯片的潛力才能得到最大化的發(fā)揮。只有“軟”“硬”兩手同時(shí)抓，才能形成完整且高效的邊緣智能解決方案。 |
