|
來源：AVNET 早在幾年前，在房屋、汽車甚至手機中配備私人助理的概念，還是個是科幻小說的情節—它可以識別您的聲音來播放您喜歡的音樂、商店、監控身體健康狀況、控制家庭自動化并且處理各種生活瑣事。但自從Apple在2011年推出Siri以來，具備數字助理的人工智能（AI）連接設備的數量大幅度地成長，目前包括Amazon的Alexa、微軟的Cortana以及三星的Bixby等。 當連網設備失去網絡連接時，我們的生活肯定會被打亂。用于語音識別的AI在云運行，因此沒有網絡就表示沒辦法提供語音協助。為了保護我們連接的設備，難道沒有互聯網連接，設備就無法在本地端處理工作了嗎？事實上，如果將AI置于邊緣，這就可以實現。 雖然將邊緣AI應用于數字助理是一種可能的用途，但這個技術將對許多行業產生深遠的影響，包括運輸、國防、制造業和醫療保健等。邊緣AI將如何改變這些行業，它為什么如此重要呢？ 什么是邊緣人工智能 邊緣AI是指可以在硬設備本地端處理AI算法。處理的算法使用來自設備的數據（信號或傳感器數據）。而使用邊緣AI的設備無需連續連接到云即可正常運行，因為它無需互聯網即可獨立處理數據和做出決策。 邊緣人工智能讓智能更接近所需要的位置：設備 為了在邊緣使用人工智能，設備除了包含最初設計用來執行其工作的零組件外，還要必須具備微處理器、傳感器和AI算法。 其中一個范例是一種電池供電的設備，該設備可以連接到云，但在微處理器上運行的邊緣AI軟件應用可以實時處理數據。產生的數據就在設備上進行分析，并且存儲在本地。必要時，設備可以連接到云并通過互聯網傳輸其數據，以實現冗余存儲和長期分析。如果設備持續地將數據傳輸到云，則電池壽命將受到負面影響。在這個簡單的例子中，邊緣AI可以延長設備的電池壽命。 機器學習基礎：訓練和推理 任何基于機器學習之解決方案的兩個主要階段是訓練和推理。 • 訓練：在此階段中，將大量已知數據提供給機器學習算法，使其學習該做什么。利用這些數據，算法可以產出包含其學習結果的「模型」。此階段就處理能力而言，要求極高。 • 推論：設備將學習到的模型與新數據一起使用，來推論它該識別的。簡而言之，設備會解讀正在詢問的內容，然后完成被要求的工作。 訓練階段中的「已知數據」稱為標記數據。這表示著每段數據（例如聲音，圖像等）都有一個描述其內容的標簽。語音識別AI經過數千小時的標記語音數據訓練，以便從口語句子中提取文本。然后可以使用自然語言識別將文本轉換為計算器可以理解的命令。 一旦完成訓練，設備就需要處理能力的一部分來執行推理階段；這主要是因為推理是使用一組輸入數據，而訓練通常需要大量的樣本。用于推理的生產模型也是凍結的，意指無法再學習，并且可能刪除了無關的功能，也針對目標環境仔細地優化。最終結果是它可直接在嵌入式設備上運行。決策能力位于設備里面，因此可使其具有自主性。這就是的邊緣AI。 設備上邊緣人工智能的硬件挑戰 如同許多新概念一樣，邊緣AI背后的技術已經存在了一段時間：機器學習算法在計算器和智能手機中很常見，而且運作得很好。然而對于嵌入式設備是如何呢？這些工具和硬件現在可以組合在一起，成為一個有意義的解決方案，這主要歸功于： • 設備處理能力的提高以及更多可用的模塊，為AI圖形處理單元（GPU）和特定應用集成電路（ASIC）提供了硬件加速。 • 不斷改進AI算法模型及其性能。 • 工具和資源的質量使數據科學家、AI專家和開發人員研究過程更加輕松。 現在，我們不僅可以在超級計算器中整合AI功能，還可以在汽車、智能手機、網頁、Wi-Fi路由器、工廠機器人或是從小型到大型，從簡單到復雜的各種應用程序中整合AI功能。 在設備上有效地嵌入推理需要什么？ 關于邊緣AI，首先要選擇正確的硬件。邊緣設備上的AI推理可以在多個種硬件上執行。 • CPU: 在智能手機和嵌入式設備上，最近推出的任何Arm CPU（Cortex-A7及更高階版本）都具有在邊緣處理AI的能力。這可能不是最快或最有效的解決方案，但通常是最簡單的。常用的是TensorFlow Lite軟件，可提供大型TensorFlow框架中的關鍵功能。 • GPU: 對GPU(圖形處理器)開箱即用的支持會有所不同，但通常會提供較大數據吞吐量，進而可提供出色的推理頻率和較低的延遲。GPU還能從CPU移除的大量工作負載，可提高整體運行速度和效率。 • AI 專用硬件: ASIC和張量處理單元（TPU）。這些硬件組件提供了最有效的AI解決方案，但通常價格昂貴且較難設計。 進一步來分析GPU和AI專用硬件。 一種可能性是利用GPU的處理能力和并行能力。人工智能就像一個擁有數百個神經元的虛擬大腦：它看起來很復雜，但其實是由許多簡單的元素組成（如神經元）。這就是GPU成為重點的地方。簡單且獨立的運行將應用于屏幕上的每一個單點（像素或頂點）。大多數機器學習框架（例如TensorFlow，Caffe，AML等）設計為利用適當的硬件。而幾乎所有GPU都可用來完成這些工作。 另一個解決方案是整合專用硬件。透過定制的硬件來加速機器學習，如 AI專用芯片和AI ASIC。Google推出了Edge TPU，Arm推出了機器學習和物體偵測處理器；英特爾，微軟和亞馬遜也都在開發自己的解決方案。當前，最好的選擇即是使用您的AI工具集所支持的GPU。 雖然目前邊緣AI是一個熱門話題，但它不會只是一時的流行，因為邊緣AI可以帶來真正的價值。 采用邊緣人工智能的好處 1. 脫機可用性/延遲: 如果無論條件和連網狀態如何都需要使用應用程序，就必須在本地端處理智能。由于遠程的蜂巢式數據不穩定，或是DDoS攻擊(分布式阻斷服務)等許多因素，可能會導致延遲或完全失去連接。這對于基于云端的解決方案而言，是一個巨大的問題及挑戰。但是，如果智能是在本地的設備上做維護，則無需擔心。 2. 降低云服務成本: 云服務很方便，因為它的可擴展性和可用性，但這也表示會產生相當高的經常性成本；此成本通常隨著解決方案的廣泛采用而增加。這些成本是在產品的整個生命周期內產生的。但是，如果是出售運行AI的獨立設備，則可大幅降低其經常性成本和基礎架構需求。 3. 限制連網成本: 帶寬和蜂巢式數據也十分昂貴。僅發送AI的計算結果給云做長期分析使用，而在本地處理數據數據，則可以大大地節省成本。如關于視訊安全的解決方案，megabytes之多的視訊數據將轉換為幾個bytes。 4. 合規性和機密信息: 當可以在本地收集和處理關鍵訊息時，為什么還要透過互聯網發送重要信息呢？這并不意味著應減少對設備安全性的重視，而是可以少點擔心并使客戶也放心。 5. 反應時間十分重要: 在本地收集和處理數據可以加快反應時間，從而提高安全性、性能和用戶體驗。 6. 綠色意識: 在設計高效率的AI設備時，本地處理數據絕對有意義。中小型物聯網設備每天將傳輸約1MB的數據，大致相當于20克的二氧化碳。以每年復利計算，10,000臺設備，將造成多達80噸的二氧化碳污染。在本地處理數據可污染縮減到1噸以下，這對地球環境才是有益的。而基于視訊或圖像的解決方案會產生更大的影響。 邊緣人工智能的限制 邊緣AI是比云端AI整合更新的技術，并且本質上具有一定的局限性。以下列出了一些限制和風險。 1. 具有邊緣功能的設備: AI需要整合至一個設備上。可以是像智能手機這樣的移動設備，也可以是與自動駕駛汽車一樣大的設備。無論在哪里，設備都必須能夠有效地運行AI解決方案。 2. 性能受到設備的限制: 邊緣設備和大量的虛擬服務器相比，具有較少的處理能力。因此，從一開始就確定反應時間和解決方案的復雜性來進行正確的設計是非常重要的。 3. 需要連接性來更新模型: 盡管推理速度很快，訓練通常也是一個漫長的過程，甚至在功能強大的專用硬件上也是相同。這就是為什么需要在專用機器上執行而不能在設備等級別的設備上執行的原因。每隔一段時間后，將需要更新模型來識別新的句子、支持新場景、執行新功能等；部署此更新的最有效方法是使用空中下載（OTA）機制。 采用邊緣人工智能可帶來效率和新機遇 以下為邊緣AI如何影響變化的幾個例子。 工業應用: • 大大減少了設備故障和停機時間；這部分估計每年造成500億美元的損失。 • AI能源管理可在制造過程中平均降低20％的能源消耗。 • 使用本地端AI的智能監控，可以快速識別和解決生產問題。 運輸應用: • 24/7/365可以運行，可最大化設備的投資回報率。 • 減少人工成本 • 估計可減少60％的有害排放量。 邊緣AI是許多AI服務的下一步。高度的可用性、數據安全性，以及減少延遲和節省成本是未來AI系統的關鍵優勢。無論是公司還是個人，現在都是擁抱此邊緣AI的好時機。盡管有些人可能認為技術尚未成熟，但是它正在迅速發展與融合。只需有限的投入，就可以進行實驗和實施概念驗證，從而在全球采納此技術前就可以獲得競爭優勢。有鑒于AI和IoT指數級的增長，邊緣AI的成長是必然的，這絕對是個絕佳的投資機會。 |
