|
來(lái)源：AVNET 早在幾年前，在房屋、汽車甚至手機(jī)中配備私人助理的概念，還是個(gè)是科幻小說(shuō)的情節(jié)—它可以識(shí)別您的聲音來(lái)播放您喜歡的音樂(lè)、商店、監(jiān)控身體健康狀況、控制家庭自動(dòng)化并且處理各種生活瑣事。但自從Apple在2011年推出Siri以來(lái)，具備數(shù)字助理的人工智能（AI）連接設(shè)備的數(shù)量大幅度地成長(zhǎng)，目前包括Amazon的Alexa、微軟的Cortana以及三星的Bixby等。 當(dāng)連網(wǎng)設(shè)備失去網(wǎng)絡(luò)連接時(shí)，我們的生活肯定會(huì)被打亂。用于語(yǔ)音識(shí)別的AI在云運(yùn)行，因此沒(méi)有網(wǎng)絡(luò)就表示沒(méi)辦法提供語(yǔ)音協(xié)助。為了保護(hù)我們連接的設(shè)備，難道沒(méi)有互聯(lián)網(wǎng)連接，設(shè)備就無(wú)法在本地端處理工作了嗎？事實(shí)上，如果將AI置于邊緣，這就可以實(shí)現(xiàn)。 雖然將邊緣AI應(yīng)用于數(shù)字助理是一種可能的用途，但這個(gè)技術(shù)將對(duì)許多行業(yè)產(chǎn)生深遠(yuǎn)的影響，包括運(yùn)輸、國(guó)防、制造業(yè)和醫(yī)療保健等。邊緣AI將如何改變這些行業(yè)，它為什么如此重要呢？ 什么是邊緣人工智能 邊緣AI是指可以在硬設(shè)備本地端處理AI算法。處理的算法使用來(lái)自設(shè)備的數(shù)據(jù)（信號(hào)或傳感器數(shù)據(jù)）。而使用邊緣AI的設(shè)備無(wú)需連續(xù)連接到云即可正常運(yùn)行，因?yàn)樗鼰o(wú)需互聯(lián)網(wǎng)即可獨(dú)立處理數(shù)據(jù)和做出決策。 邊緣人工智能讓智能更接近所需要的位置：設(shè)備 為了在邊緣使用人工智能，設(shè)備除了包含最初設(shè)計(jì)用來(lái)執(zhí)行其工作的零組件外，還要必須具備微處理器、傳感器和AI算法。 其中一個(gè)范例是一種電池供電的設(shè)備，該設(shè)備可以連接到云，但在微處理器上運(yùn)行的邊緣AI軟件應(yīng)用可以實(shí)時(shí)處理數(shù)據(jù)。產(chǎn)生的數(shù)據(jù)就在設(shè)備上進(jìn)行分析，并且存儲(chǔ)在本地。必要時(shí)，設(shè)備可以連接到云并通過(guò)互聯(lián)網(wǎng)傳輸其數(shù)據(jù)，以實(shí)現(xiàn)冗余存儲(chǔ)和長(zhǎng)期分析。如果設(shè)備持續(xù)地將數(shù)據(jù)傳輸?shù)皆疲瑒t電池壽命將受到負(fù)面影響。在這個(gè)簡(jiǎn)單的例子中，邊緣AI可以延長(zhǎng)設(shè)備的電池壽命。 機(jī)器學(xué)習(xí)基礎(chǔ)：訓(xùn)練和推理 任何基于機(jī)器學(xué)習(xí)之解決方案的兩個(gè)主要階段是訓(xùn)練和推理。 • 訓(xùn)練：在此階段中，將大量已知數(shù)據(jù)提供給機(jī)器學(xué)習(xí)算法，使其學(xué)習(xí)該做什么。利用這些數(shù)據(jù)，算法可以產(chǎn)出包含其學(xué)習(xí)結(jié)果的「模型」。此階段就處理能力而言，要求極高。 • 推論：設(shè)備將學(xué)習(xí)到的模型與新數(shù)據(jù)一起使用，來(lái)推論它該識(shí)別的。簡(jiǎn)而言之，設(shè)備會(huì)解讀正在詢問(wèn)的內(nèi)容，然后完成被要求的工作。 訓(xùn)練階段中的「已知數(shù)據(jù)」稱為標(biāo)記數(shù)據(jù)。這表示著每段數(shù)據(jù)（例如聲音，圖像等）都有一個(gè)描述其內(nèi)容的標(biāo)簽。語(yǔ)音識(shí)別AI經(jīng)過(guò)數(shù)千小時(shí)的標(biāo)記語(yǔ)音數(shù)據(jù)訓(xùn)練，以便從口語(yǔ)句子中提取文本。然后可以使用自然語(yǔ)言識(shí)別將文本轉(zhuǎn)換為計(jì)算器可以理解的命令。 一旦完成訓(xùn)練，設(shè)備就需要處理能力的一部分來(lái)執(zhí)行推理階段；這主要是因?yàn)橥评硎鞘褂靡唤M輸入數(shù)據(jù)，而訓(xùn)練通常需要大量的樣本。用于推理的生產(chǎn)模型也是凍結(jié)的，意指無(wú)法再學(xué)習(xí)，并且可能刪除了無(wú)關(guān)的功能，也針對(duì)目標(biāo)環(huán)境仔細(xì)地優(yōu)化。最終結(jié)果是它可直接在嵌入式設(shè)備上運(yùn)行。決策能力位于設(shè)備里面，因此可使其具有自主性。這就是的邊緣AI。 設(shè)備上邊緣人工智能的硬件挑戰(zhàn) 如同許多新概念一樣，邊緣AI背后的技術(shù)已經(jīng)存在了一段時(shí)間：機(jī)器學(xué)習(xí)算法在計(jì)算器和智能手機(jī)中很常見(jiàn)，而且運(yùn)作得很好。然而對(duì)于嵌入式設(shè)備是如何呢？這些工具和硬件現(xiàn)在可以組合在一起，成為一個(gè)有意義的解決方案，這主要?dú)w功于： • 設(shè)備處理能力的提高以及更多可用的模塊，為AI圖形處理單元（GPU）和特定應(yīng)用集成電路（ASIC）提供了硬件加速。 • 不斷改進(jìn)AI算法模型及其性能。 • 工具和資源的質(zhì)量使數(shù)據(jù)科學(xué)家、AI專家和開(kāi)發(fā)人員研究過(guò)程更加輕松。 現(xiàn)在，我們不僅可以在超級(jí)計(jì)算器中整合AI功能，還可以在汽車、智能手機(jī)、網(wǎng)頁(yè)、Wi-Fi路由器、工廠機(jī)器人或是從小型到大型，從簡(jiǎn)單到復(fù)雜的各種應(yīng)用程序中整合AI功能。 在設(shè)備上有效地嵌入推理需要什么？ 關(guān)于邊緣AI，首先要選擇正確的硬件。邊緣設(shè)備上的AI推理可以在多個(gè)種硬件上執(zhí)行。 • CPU: 在智能手機(jī)和嵌入式設(shè)備上，最近推出的任何Arm CPU（Cortex-A7及更高階版本）都具有在邊緣處理AI的能力。這可能不是最快或最有效的解決方案，但通常是最簡(jiǎn)單的。常用的是TensorFlow Lite軟件，可提供大型TensorFlow框架中的關(guān)鍵功能。 • GPU: 對(duì)GPU(圖形處理器)開(kāi)箱即用的支持會(huì)有所不同，但通常會(huì)提供較大數(shù)據(jù)吞吐量，進(jìn)而可提供出色的推理頻率和較低的延遲。GPU還能從CPU移除的大量工作負(fù)載，可提高整體運(yùn)行速度和效率。 • AI 專用硬件: ASIC和張量處理單元（TPU）。這些硬件組件提供了最有效的AI解決方案，但通常價(jià)格昂貴且較難設(shè)計(jì)。 進(jìn)一步來(lái)分析GPU和AI專用硬件。 一種可能性是利用GPU的處理能力和并行能力。人工智能就像一個(gè)擁有數(shù)百個(gè)神經(jīng)元的虛擬大腦：它看起來(lái)很復(fù)雜，但其實(shí)是由許多簡(jiǎn)單的元素組成（如神經(jīng)元）。這就是GPU成為重點(diǎn)的地方。簡(jiǎn)單且獨(dú)立的運(yùn)行將應(yīng)用于屏幕上的每一個(gè)單點(diǎn)（像素或頂點(diǎn)）。大多數(shù)機(jī)器學(xué)習(xí)框架（例如TensorFlow，Caffe，AML等）設(shè)計(jì)為利用適當(dāng)?shù)挠布６鴰缀跛蠫PU都可用來(lái)完成這些工作。 另一個(gè)解決方案是整合專用硬件。透過(guò)定制的硬件來(lái)加速機(jī)器學(xué)習(xí)，如 AI專用芯片和AI ASIC。Google推出了Edge TPU，Arm推出了機(jī)器學(xué)習(xí)和物體偵測(cè)處理器；英特爾，微軟和亞馬遜也都在開(kāi)發(fā)自己的解決方案。當(dāng)前，最好的選擇即是使用您的AI工具集所支持的GPU。 雖然目前邊緣AI是一個(gè)熱門話題，但它不會(huì)只是一時(shí)的流行，因?yàn)檫吘堿I可以帶來(lái)真正的價(jià)值。 采用邊緣人工智能的好處 1. 脫機(jī)可用性/延遲: 如果無(wú)論條件和連網(wǎng)狀態(tài)如何都需要使用應(yīng)用程序，就必須在本地端處理智能。由于遠(yuǎn)程的蜂巢式數(shù)據(jù)不穩(wěn)定，或是DDoS攻擊(分布式阻斷服務(wù))等許多因素，可能會(huì)導(dǎo)致延遲或完全失去連接。這對(duì)于基于云端的解決方案而言，是一個(gè)巨大的問(wèn)題及挑戰(zhàn)。但是，如果智能是在本地的設(shè)備上做維護(hù)，則無(wú)需擔(dān)心。 2. 降低云服務(wù)成本: 云服務(wù)很方便，因?yàn)樗目蓴U(kuò)展性和可用性，但這也表示會(huì)產(chǎn)生相當(dāng)高的經(jīng)常性成本；此成本通常隨著解決方案的廣泛采用而增加。這些成本是在產(chǎn)品的整個(gè)生命周期內(nèi)產(chǎn)生的。但是，如果是出售運(yùn)行AI的獨(dú)立設(shè)備，則可大幅降低其經(jīng)常性成本和基礎(chǔ)架構(gòu)需求。 3. 限制連網(wǎng)成本: 帶寬和蜂巢式數(shù)據(jù)也十分昂貴。僅發(fā)送AI的計(jì)算結(jié)果給云做長(zhǎng)期分析使用，而在本地處理數(shù)據(jù)數(shù)據(jù)，則可以大大地節(jié)省成本。如關(guān)于視訊安全的解決方案，megabytes之多的視訊數(shù)據(jù)將轉(zhuǎn)換為幾個(gè)bytes。 4. 合規(guī)性和機(jī)密信息: 當(dāng)可以在本地收集和處理關(guān)鍵訊息時(shí)，為什么還要透過(guò)互聯(lián)網(wǎng)發(fā)送重要信息呢？這并不意味著應(yīng)減少對(duì)設(shè)備安全性的重視，而是可以少點(diǎn)擔(dān)心并使客戶也放心。 5. 反應(yīng)時(shí)間十分重要: 在本地收集和處理數(shù)據(jù)可以加快反應(yīng)時(shí)間，從而提高安全性、性能和用戶體驗(yàn)。 6. 綠色意識(shí): 在設(shè)計(jì)高效率的AI設(shè)備時(shí)，本地處理數(shù)據(jù)絕對(duì)有意義。中小型物聯(lián)網(wǎng)設(shè)備每天將傳輸約1MB的數(shù)據(jù)，大致相當(dāng)于20克的二氧化碳。以每年復(fù)利計(jì)算，10,000臺(tái)設(shè)備，將造成多達(dá)80噸的二氧化碳污染。在本地處理數(shù)據(jù)可污染縮減到1噸以下，這對(duì)地球環(huán)境才是有益的。而基于視訊或圖像的解決方案會(huì)產(chǎn)生更大的影響。 邊緣人工智能的限制 邊緣AI是比云端AI整合更新的技術(shù)，并且本質(zhì)上具有一定的局限性。以下列出了一些限制和風(fēng)險(xiǎn)。 1. 具有邊緣功能的設(shè)備: AI需要整合至一個(gè)設(shè)備上。可以是像智能手機(jī)這樣的移動(dòng)設(shè)備，也可以是與自動(dòng)駕駛汽車一樣大的設(shè)備。無(wú)論在哪里，設(shè)備都必須能夠有效地運(yùn)行AI解決方案。 2. 性能受到設(shè)備的限制: 邊緣設(shè)備和大量的虛擬服務(wù)器相比，具有較少的處理能力。因此，從一開(kāi)始就確定反應(yīng)時(shí)間和解決方案的復(fù)雜性來(lái)進(jìn)行正確的設(shè)計(jì)是非常重要的。 3. 需要連接性來(lái)更新模型: 盡管推理速度很快，訓(xùn)練通常也是一個(gè)漫長(zhǎng)的過(guò)程，甚至在功能強(qiáng)大的專用硬件上也是相同。這就是為什么需要在專用機(jī)器上執(zhí)行而不能在設(shè)備等級(jí)別的設(shè)備上執(zhí)行的原因。每隔一段時(shí)間后，將需要更新模型來(lái)識(shí)別新的句子、支持新場(chǎng)景、執(zhí)行新功能等；部署此更新的最有效方法是使用空中下載（OTA）機(jī)制。 采用邊緣人工智能可帶來(lái)效率和新機(jī)遇 以下為邊緣AI如何影響變化的幾個(gè)例子。 工業(yè)應(yīng)用: • 大大減少了設(shè)備故障和停機(jī)時(shí)間；這部分估計(jì)每年造成500億美元的損失。 • AI能源管理可在制造過(guò)程中平均降低20％的能源消耗。 • 使用本地端AI的智能監(jiān)控，可以快速識(shí)別和解決生產(chǎn)問(wèn)題。 運(yùn)輸應(yīng)用: • 24/7/365可以運(yùn)行，可最大化設(shè)備的投資回報(bào)率。 • 減少人工成本 • 估計(jì)可減少60％的有害排放量。 邊緣AI是許多AI服務(wù)的下一步。高度的可用性、數(shù)據(jù)安全性，以及減少延遲和節(jié)省成本是未來(lái)AI系統(tǒng)的關(guān)鍵優(yōu)勢(shì)。無(wú)論是公司還是個(gè)人，現(xiàn)在都是擁抱此邊緣AI的好時(shí)機(jī)。盡管有些人可能認(rèn)為技術(shù)尚未成熟，但是它正在迅速發(fā)展與融合。只需有限的投入，就可以進(jìn)行實(shí)驗(yàn)和實(shí)施概念驗(yàn)證，從而在全球采納此技術(shù)前就可以獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。有鑒于AI和IoT指數(shù)級(jí)的增長(zhǎng)，邊緣AI的成長(zhǎng)是必然的，這絕對(duì)是個(gè)絕佳的投資機(jī)會(huì)。 |
