|
你是否曾經(jīng)幻想過這些場景：回到家，對著電視說想看的節(jié)目，電視會自動開啟并切換至目標(biāo)頻道？或者對著爐子說開始小火慢燉，晚餐會以恰當(dāng)?shù)幕鸷蜃詣优腼儯楷F(xiàn)如今，家用電器的確可以實現(xiàn)諸如此類的功能，通過語音控制，疲憊一天的你不用親力親為，坐在沙發(fā)上對著各種電器發(fā)出指令，它們便會聽話地完成你的各種需求。 實際上，家用電器能說會聽是物聯(lián)網(wǎng)的產(chǎn)物。物聯(lián)網(wǎng)架構(gòu)復(fù)雜，涉及方面廣，越來越多的企業(yè)選擇云上托管物聯(lián)網(wǎng)設(shè)備體系，因為云端架構(gòu)安全便捷，基于人工智能（比如，自然語言處理）模型，訓(xùn)練和部署等過程都通過簡單的點擊即可完成，功能強(qiáng)大，可以極大程度地為公司節(jié)約人力和物力。云端物聯(lián)網(wǎng)通常包括一個安置在家庭中的傳感器設(shè)備，通過Wi-Fi連接到網(wǎng)絡(luò)，用于接受數(shù)據(jù)，將數(shù)據(jù)傳給云端數(shù)據(jù)庫，在云環(huán)境中進(jìn)行分析處理。 隨著人工智能和物聯(lián)網(wǎng)的發(fā)展，人機(jī)交互給人們帶來越來越高端的體驗。語音控制技術(shù)應(yīng)用最為廣泛，也是當(dāng)今的熱門研究課題。令人耳目一新的是在家用電器方面的應(yīng)用，摒棄了傳統(tǒng)的遙控器裝備，通過口令讓家用電器完成各項功能。語音控制家電技術(shù)圍繞人工智能，機(jī)器學(xué)習(xí)語義識別，物聯(lián)網(wǎng)（IoT），云計算（cloud computing）而展開。 本文以云端架構(gòu)為框架，為大家介紹語音控制技術(shù)是如何讓家用電器能說會聽的。主要內(nèi)容將圍繞以下幾個方面展開： Azure云端語音控制和識別技術(shù) 云端物聯(lián)網(wǎng) 云端語音控制技術(shù)基本解決方案步驟 相關(guān)主要技術(shù)說明 Universal Windows Platform（UWP） Cognitive service 的語音識別APIs & SDK Language Understanding Intelligent Service (LUIS) 運行Windows 10 IoT核心版的Raspberry Pi 3 語音控制技術(shù)如何應(yīng)用于家電 核心技術(shù) 架構(gòu) 功能 解決方案 總結(jié) Azure云端語音控制和識別技術(shù) 語音控制系統(tǒng)包括了語音識別、自然語音理解、對話管理、自然語言生成、語音合成。 
來源：https://zhuanlan.zhihu.com/p/53639416 1) 云端物聯(lián)網(wǎng) 語音識別是指語音到文本的轉(zhuǎn)化。Azure 平臺的TTS（text to speech）采用Universal language模型，該模型對Microsoft已有數(shù)據(jù)進(jìn)行了訓(xùn)練，并部署在云端，也可以創(chuàng)建和訓(xùn)練自定義的語言模型，根據(jù)需要選擇特定的詞匯并將其加入訓(xùn)練數(shù)據(jù)中。 自然語言分析/自然語言處理，是機(jī)器學(xué)習(xí)的一部分，設(shè)計模型并進(jìn)行訓(xùn)練。 對話管理的任務(wù)主要有下三點： 預(yù)測用戶意圖 對話內(nèi)容進(jìn)行分析，機(jī)器學(xué)習(xí)模型預(yù)測，確定下一步做什么。 作為接口與后端/任務(wù)模型進(jìn)行交互 作為應(yīng)用程序接口與服務(wù)器端或模型進(jìn)行請求交互，獲取反饋結(jié)果，生成文字結(jié)果。 提供語義分析結(jié)果的期望值 根據(jù)用戶的提問，通過一系列的語義解析，做出滿足用戶期望的回應(yīng)。 語言答案的文本生成是通過模型分析用戶的指令并作出文字回應(yīng)。 語音合成技術(shù)主要作用是將文本轉(zhuǎn)化成擬人化語音的需求，基礎(chǔ)的Azure 云端語音合成使用語音SDK或REST API使用標(biāo)準(zhǔn)（詳細(xì)說明見下文），神經(jīng)或自定義語音實現(xiàn)文本轉(zhuǎn)語音的過程。 家用電器中，對話模式的情感要求會低一些，因為用戶發(fā)出的大多是功能請求，比如：開機(jī)，詢問溫度或濕度等等。 （以上內(nèi)容參考自：https://zhuanlan.zhihu.com/p/53639416） 2) 云端語音控制技術(shù)基本解決方案步驟 對話模式 對話模式是人機(jī)語言交互的核心，所有模式圍繞其展開。當(dāng)用戶發(fā)出指令，系統(tǒng)便切換到了對話模式。Azure上使用UWP 應(yīng)用平臺，開發(fā)一個界面，用于監(jiān)測人聲觸發(fā)（例如：對平臺說： ‘Hi， cloud！‘）成功與否。 聽寫模式 使用者說出一段較長的語音，然后等待語音識別的結(jié)果。當(dāng)‘Hi， cloud！‘指令發(fā)起后，用戶正式發(fā)出指令（說出想對機(jī)器說的話），這時語音便傳到了語義分析系統(tǒng)（Azure LUIS），內(nèi)容傳入語義分析系統(tǒng)，Azure上的實時語音轉(zhuǎn)文本服務(wù)使用初始化Universal Language模型，通過REST API/Speech software development kit (SDK)完成。 交互模式 使用者發(fā)出簡短的請求, 并期望應(yīng)用程序執(zhí)行響應(yīng)，交互模式主要是指將語音識別和文字到語音的轉(zhuǎn)換過程嵌入到應(yīng)用程序中去。本文例子中，Azure云端部署語音控制系統(tǒng)的交互模式體現(xiàn)在與用戶交互的Universal Windows Platform（UWP）應(yīng)用。在UWP上開發(fā)一個簡單的界面供用戶操控，或供開發(fā)者測試使用。 相關(guān)主要技術(shù)說明 1) Universal Windows Platform（UWP） Windows通用應(yīng)用平臺，同一個API可以在電腦端，手機(jī)端，或其他windows10設(shè)備通用。換句話說，同樣的代碼可以在不同的終端運行，不必為不同的平臺寫不同的代碼。 2) Cognitive service 的語音識別REST APIs & SDK 以語音識別為例：REST API 需要提前獲取密鑰，然后向服務(wù)器發(fā)送HTTP請求，經(jīng)過身份驗證后，服務(wù)器將轉(zhuǎn)換后的音頻返回至本地。 下面通過圖示說明云上的REST APIS：
圖片來源：https://gunnarpeipman.com/wp-con ... est-api-adapter.png 這是Rest client應(yīng)用于Application（應(yīng)用程序）并在其中創(chuàng)建rest client的實例，然后在Application上調(diào)用一些方法。當(dāng)調(diào)用Rest client方法時，該方法將輸入轉(zhuǎn)換為http請求，并將請求發(fā)送到Rest api。來自端點的響應(yīng)是http響應(yīng)，Rest client將其轉(zhuǎn)換為Application可識別的類型，并返回給Application端。 由于我們不想向我們的Application（應(yīng)用程序）公開Rest client的詳細(xì)信息，可以添加Adapter(適配器)用來與外部服務(wù)通信。適配器接受Application(應(yīng)用程序)中已知類型的參數(shù)，并且返回值也是Application(應(yīng)用程序)中已知類型的參數(shù)。 SDK即為可以調(diào)用的庫，支持Python，C#, C++, Java, JavaScript, Objective-C/Swift. 官方文獻(xiàn)明確指出： “作為語音 SDK 的一種替代方法，語音服務(wù)允許使用 REST API 將語音轉(zhuǎn)換為文本。 每個可訪問的終結(jié)點都與某個區(qū)域相關(guān)聯(lián)。 應(yīng)用程序需要所用終結(jié)點的訂閱密鑰。 REST API 非常有限，只應(yīng)在語音 SDK 不能使用的情況下使用�！� 引用來源：https://docs.microsoft.com/zh-cn ... gions-and-endpoints 有關(guān)SDK 和REST API 可以參考以下連接： SDK Rest API 3) Language Understanding Intelligent Service (LUIS) Azure的LUIS是基于云的對話式AI服務(wù)，作用是使機(jī)器理解人的語言。 運行方式可用一句話概括為：客戶端通過應(yīng)用程序直接發(fā)送語音請求到 LUIS， LUIS中的自然語言處理功能將命令轉(zhuǎn)換為JSON格式，分析后答案同樣以JSON的形式返回。LUIS平臺為用戶提供了訓(xùn)練模型的服務(wù)，并且模型具備“不斷學(xué)習(xí)的功能”，通過使用模型去回應(yīng)客戶請求，模型會不斷自動修正以提高準(zhǔn)確度。 https://dzone.com/articles/luis- ... intelligent-service
圖片來源：https://docs.microsoft.com/zh-cn ... s/luis/what-is-luis 自然語言處理離不開以下幾個方面： （例如：用戶向家用檢測濕度系統(tǒng)發(fā)出”檢查濕度？”的指令。） 目的性（動詞）- “檢查”就是一個動詞， LUIS模型最大接受80個目的性詞匯。 完整的語言內(nèi)容 - 用戶發(fā)出的完整指令，LUIS模型最多接受500字的語音請求。 實體（名詞）- 濕度是一個名詞。LUIS模型最多接受30個實體名詞。 LUIS定義特征，意思就是當(dāng)你的模型很難識別某一個或幾個單詞的時候，可以自動加進(jìn)數(shù)據(jù)中進(jìn)行再訓(xùn)練。 運行Windows 10 IoT核心版的Raspberry Pi 3 Raspberry Pi 是一個開發(fā)板，可以連接到不同類型的傳感器。Raspberry Pi可以被用作Web服務(wù)器，該服務(wù)器接收不同的解釋命令并發(fā)送電信號，以控制安裝在Smart Home中的家用電器。 語音控制技術(shù)如何應(yīng)用于家電 語音控制使家庭環(huán)境更智能，實現(xiàn)家電的自動化。我們可以將其定義為：通過提供如健康，多媒體，娛樂和能源相關(guān)應(yīng)用的不同服務(wù)，通過引入技術(shù)改善居住者的生活質(zhì)量。 應(yīng)用舉例：智能濕度計---云端部署
圖片來源：https://www.iotnewsportal.com/iot-images/1512640413.png 1) 核心技術(shù) 在Raspberry Pi 3上運行的Universal Windows Platform（UWP）應(yīng)用，使用語音識別API與傳感器與用戶進(jìn)行交互， LUIS 進(jìn)行語義分析，經(jīng)由Raspberry pi 3 將用戶的問題傳入，最后通過Cognitive service 的語音識別APIs 技術(shù)給出答案。 2) 架構(gòu)
圖片來源：https://azure.microsoft.com/en-i ... zure-iot-subsystems 3) 功能 存儲數(shù)據(jù)，通過傳感器搜集數(shù)據(jù)并存儲在云端。 語音到文本和文本到語音的API，用于識別用戶提出的問題，并使用語音提供答案。 LUIS語音識別，語義分析，通過預(yù)先訓(xùn)練的模型預(yù)測答案，以準(zhǔn)確響應(yīng)客戶的指令。 通過Raspberry Pi 3傳入語音，和Cognitive Services的語音識別API，讓家電可以回答用戶提出的問題。 4) 解決方案 以下內(nèi)容參考：https://microsoft.github.io/tech ... 7/06/02/Iomote.html 數(shù)據(jù)到云端 從傳感器到云端數(shù)據(jù)庫的數(shù)據(jù)傳輸過程已經(jīng)可以通過完善的架構(gòu)實現(xiàn)，客戶可以直接使用不同類型的數(shù)據(jù)庫，以滿足不同的需求。 開展語音對話：UWP應(yīng)用 例如：用戶希望了解家里的濕度，‘Hey, cloud !’ ’ What is the humidity in the room now? ’通過UWP平臺進(jìn)行文本輸出顯示，UWP應(yīng)用將在中安裝的Raspberry Pi 3上運行，該應(yīng)用程序?qū)⒛軌蚺c所有傳感器和執(zhí)行器進(jìn)行通信， 系統(tǒng)被觸發(fā)后，問題會被傳到LUIS中進(jìn)行語義分析。 問題分析，與LUIS連接 LUIS 用于了解從Raspberry Pi 3接收的命令。經(jīng)過對模型的訓(xùn)練，應(yīng)用程序能夠識別意圖：檢索室內(nèi)濕度。之后，將LUIS API添加到UWP應(yīng)用程序中，用戶觸發(fā)命令 “Hey, cloud ! ” 之后，所有內(nèi)容通過API發(fā)送到LUIS進(jìn)行分析。LUIS在UWP內(nèi)被調(diào)用，接收輸入并分析意圖。根據(jù)預(yù)測意圖的置信度向用戶提供正確答案，將命令發(fā)送到IoT中心以獲取傳感器的溫度。 開發(fā)網(wǎng)頁端應(yīng)用 開發(fā)一個網(wǎng)頁端應(yīng)用程序用于設(shè)備管理。該程序可以顯示連接到IoT中心的所有傳感器，使管理設(shè)備變得更加容易，實現(xiàn)重新啟動，固件更新等功能。 人機(jī)交互 UWP應(yīng)用與網(wǎng)頁端應(yīng)用進(jìn)行交互給客戶進(jìn)行響應(yīng)，網(wǎng)頁端應(yīng)用負(fù)責(zé)將指令發(fā)送到指定的傳感器，從特定的傳感器檢索當(dāng)前室內(nèi)的空氣濕度，回答用戶問題，最后通過 “文本到語音” API向用戶提供當(dāng)前室內(nèi)的濕度值。 總結(jié) 語音交互為用戶提供了一種全新的家居控制方式，使家用電器能說會聽，與此同時，當(dāng)下語言識別面臨的困難也不同忽視，主要包括以下幾點： 中文方言的識別/不同國家英語口音的識別。 模型預(yù)測準(zhǔn)確度： 想要使語音識別達(dá)到一個近似于人大腦的效果，必須結(jié)合語言學(xué)、心理學(xué)及生理學(xué)等領(lǐng)域知識達(dá)到與人近似的情感分析。此外，預(yù)測模型是不可能達(dá)到百分之百準(zhǔn)確的，總會有新的指令，新的詞匯出現(xiàn)，這時，模型的不斷迭代訓(xùn)練變得尤為重要。 排除噪聲干擾：讓語音控制系統(tǒng)精準(zhǔn)定位到與其交互的用戶聲音，而不是其他較高音量的噪音。 作者認(rèn)為，想要讓機(jī)器像人一樣思考問題，最大的挑戰(zhàn)是機(jī)器學(xué)習(xí)/人工智能技術(shù)與醫(yī)學(xué)（生理和心理學(xué)）的結(jié)合，因為當(dāng)今科學(xué)界懂得醫(yī)學(xué)知識的人工智能科學(xué)家寥寥無幾。家用電器的人機(jī)對話可以大大減輕用戶的勞動力，機(jī)器有了情感以后，便可以增加聊天功能，機(jī)器會像朋友一樣在回答問題之余閑聊幾句，增添生活的樂趣。此外，機(jī)器對溫度等數(shù)據(jù)的把控度極為精準(zhǔn)，這是人類無法達(dá)到的。 綜上所述，語音控制技術(shù)應(yīng)用于家用電器是非常有前景的項目，未來會說話的家用電器會普及所有家庭。將來希望大量科學(xué)家進(jìn)入這個領(lǐng)域，致力于不斷創(chuàng)新與研發(fā)，使這一目標(biāo)早日實現(xiàn)。 參考文獻(xiàn)及網(wǎng)站 https://zhuanlan.zhihu.com/p/53639416 https://docs.microsoft.com/zh-cn ... s/luis/what-is-luis https://docs.microsoft.com/en-ie ... vice/speech-to-text https://www.cnblogs.com/sparkdev/p/8969238.html https://docs.microsoft.com/en-ie ... view#reference-docs https://docs.microsoft.com/zh-cn ... tion-platform-guide https://zhuanlan.zhihu.com/p/40974083 https://blog.csdn.net/yushuzhen2008/article/details/104152122 https://blog.csdn.net/Clovera/ar ... ai2-3.channel_param https://dzone.com/articles/why-a ... prepare-for-using-t 文章來源：貿(mào)澤電子 作者簡介：王晶是一名機(jī)器學(xué)習(xí)算法工程師，目前在汽車檢測領(lǐng)域工作。熱衷于技術(shù)文章的創(chuàng)作。 她希望她的文章能引起讀者們對人工智能的興趣，以激勵更多的專業(yè)人員致力于這個領(lǐng)域，將AI與云技術(shù)和大數(shù)據(jù)結(jié)合起來，以使人們的生活更加安全便捷。 |
