|
作者：語音技術(shù)大師 語音科學(xué)及技術(shù)是我博士論文所在的領(lǐng)域，目前在技術(shù)市場上又出現(xiàn)再次的熱潮，因此將我的部分拙見貢獻(xiàn)出來探討。這是復(fù)雜的領(lǐng)域，因此做法也有很多、一篇短文也只能提綱挈領(lǐng)，觀點和做法不同之處，僅供參考、看官海涵。 近期我在一處的回帖里說：語音互動技術(shù)的2大瓶頸是：（1）自然語言理解；（2）環(huán)境干擾音的抑制。這是不談及內(nèi)部技術(shù)、不講為什么的說法，也是高度概括的說法。下面稍微擴展開來點說。 語音識別技術(shù)本身的結(jié)構(gòu)和算法最近20年來進(jìn)展緩慢，本身沒有根本提升，學(xué)術(shù)界仍然在做艱難改進(jìn)，對總體提升微小。像若干深入技術(shù)一樣，語音識別的技術(shù)仍然是以“算法”形勢存在，也就是說，尚未成為優(yōu)秀成熟穩(wěn)定的東西固化在芯片里面、讓工程上和產(chǎn)品里能夠方便使用。這套算法，主要包括對于輸入語音信號的“前處理”來提取最有用最濃縮的“特征”參數(shù)，以及用這些參數(shù)來進(jìn)行的統(tǒng)計計算決策，這2個大的步驟。目標(biāo)是找到所說“內(nèi)容”的最佳估計，而不理睬語音中其它信息如說話者身份、情緒等。而這統(tǒng)計決策的機理，最成功的系統(tǒng)采用的是2種數(shù)學(xué)結(jié)構(gòu)之一：“隱式馬爾科夫模型”（HMM）或“人工神經(jīng)網(wǎng)”（ANN），目前都仍在使用或改進(jìn)中。前者的結(jié)構(gòu)比較統(tǒng)一，簡單說就是將語音信號參數(shù)的出現(xiàn)，作為一個隨機過程對外的“觀察”，因此也就有了一個觀察概率，另外還有一個馬爾科夫鏈自身各態(tài)間的“轉(zhuǎn)移概率”。實際使用包括“訓(xùn)練”和“識別”兩個過程，前者使用若干數(shù)學(xué)方法（稱為參數(shù)估計），從大量標(biāo)注的實際語音數(shù)據(jù)（叫做語料）中獲取信息，例如說a的發(fā)音對應(yīng)怎樣一系列的觀察參數(shù)，并將這些參數(shù)寫進(jìn)事先定好結(jié)構(gòu)的模型參數(shù)里。當(dāng)然了，這里需要面對大量不同的語音、不同說話者、在不同上下文中的語音的特征，也就體現(xiàn)了“統(tǒng)計”的強大。而在識別時，未知語音信號，經(jīng)過同樣的參數(shù)提取，用來進(jìn)入部分語音模型中，進(jìn)行概率計算，而（一個短語的）總“分?jǐn)?shù)”最高對應(yīng)的那個序列的模型，就輸出為識別的結(jié)果，例如一個單詞序列，或一個控制指令等。人工神經(jīng)網(wǎng)的內(nèi)部結(jié)構(gòu)不是一種，而是很多種，最常用的有“帶時延的多層感知器”等，但總的原理仍然是將大量語料中的變化信息，存入固定結(jié)構(gòu)的模型參數(shù)中；而參數(shù)估計又各有不同的算法，尋求某種局部最優(yōu)，最后用語音識別的實踐來驗證其優(yōu)良與否。也有一些“自適應(yīng)”系統(tǒng)，能夠在識別過程中自動進(jìn)行對于自身參數(shù)的改善、作增量式的小規(guī)模再估計，這也就是人們常說的“自動學(xué)習(xí)機理”。 以上這類基本模型，稱為“語音模型”。進(jìn)而，因為人們說的每句話，是屬于一種語言（如中文）巨大單詞的可能組合之一，但這不是說“任何組合”都是允許的。這里就用到我們?nèi)祟愖约簩W(xué)習(xí)語言時也在用的一類結(jié)構(gòu)，叫做“語法”，就是規(guī)定哪些詞可以跟隨哪些詞。這樣，組合的可能就不那么繁多了，也就給大規(guī)模連續(xù)語音識別系統(tǒng)的“搜索”帶來的巨大的簡化。在語音識別系統(tǒng)中的用來限定的語法，稱為“語言模型”；它本身也需要若干深層數(shù)學(xué)的指導(dǎo)，才會達(dá)到能夠從大量語料、但仍然缺少部分?jǐn)?shù)據(jù)的語料中，高效正確地獲取模型參數(shù)；并且，對于人類自然語言中的語法，采用規(guī)范語言（如編程語言）語法的方式多數(shù)不可行。工程上，通常語音識別器構(gòu)建時，需要對所需不同場景，以及場景間的銜接，進(jìn)行人工的編輯，而場景中的每一個時段，對應(yīng)一些固定的語法，也就是說，到了那個“菜單”，系統(tǒng)僅能聽懂那一些單詞、以及那些單詞的那些固定序列。在識別這個層面，有若干模式，此處不一一列舉。總之，語音模型和語言模型，發(fā)源于科學(xué)家們對于自然的語言對話過程的部分理解，因此想要在計算機算法里學(xué)習(xí)使用這樣的過程，因此就使用了這些模型。但這些模型都基于實際人類的過程，做了大量的簡化。所以說，在計算機算法中的語音識別，只是很少部分類比了人類的自然過程。說實話，科學(xué)家對于人類自身如何理解語言，也遠(yuǎn)沒有達(dá)到完全的了解呢。但是，工程產(chǎn)品上已經(jīng)想要使用，不想再等了。 順便提一下早期的人工智能方法，也曾經(jīng)用來做語音識別，但是一直是失敗的。早期人工智能用于語音識別，是想找出所有“什么話對應(yīng)什么信號”的規(guī)則，然后在存儲了這樣大量規(guī)則的系統(tǒng)中，搜尋出未知信號屬于哪個語句。失敗的原因就是語音信號與內(nèi)容的對應(yīng)關(guān)系遠(yuǎn)不是一一對應(yīng)、其中混雜了太多來源的不確定性（同一句話，即使同一個人說N次，也是N個非常不同的信號，更何況不同人說同樣話、在不同場景或環(huán)境說等），因此完美的規(guī)則一直無法獲取、表達(dá)、或被搜索，而不完整的規(guī)則集帶來的只是在非常小規(guī)模語音識別中的滿意結(jié)果。所以，上述HMM等統(tǒng)計的方法才會勝出；不是因為它更加準(zhǔn)確，而正是因為面對混雜的物理現(xiàn)實，需要用不那么精確的模型和參數(shù)，去保存只有統(tǒng)計意義下正確的信息，然后去做不那么黑白分明的“軟決策”，反而成功了。而統(tǒng)計方法是否會獲得最終的勝利，或者統(tǒng)計+規(guī)則的某種結(jié)合會勝出，也是少部分科學(xué)家仍在探索的方向。 目前的人工智能已經(jīng)前進(jìn)了很多，并且似乎仍有人認(rèn)為語音技術(shù)是由該領(lǐng)域所發(fā)展起來。需要澄清的就是，如今的主流語音識別機自然語言理解技術(shù)，都不是早期人工智能的方法所支持。但如果僅從應(yīng)用角度上看，都是解決讓計算機看上去像人的行為這樣一個目標(biāo)，那么語音可以納入人工智能范圍，但內(nèi)部結(jié)構(gòu)基礎(chǔ)完全不屬于同一類了。 世界上語音識別和互動技術(shù)的發(fā)展，除了古代那些僅有概念（描述型的模型）的說法以外，近代主要是由美國國防項目開始于上世紀(jì)80年代。早期的發(fā)展歷史很有意思，除了上述的規(guī)則-統(tǒng)計基本思想之爭而外，實際上絕大多數(shù)后來可行并主導(dǎo)的結(jié)構(gòu)和算法，都是在其支撐理論不成熟甚至完全不存在的情況下、由搞計算機的人“鼓搗”出來的。大家熟知的創(chuàng)新工場李開復(fù)，就是當(dāng)年這些編程高手之一：他在CMU大學(xué)的博士論文后來被發(fā)表為一本書，而他是早期成功實現(xiàn)大規(guī)模連續(xù)語音識別的人之一。以后的15年左右，世界上有最多20幾處（大學(xué)或公司或研究所）的獨立團(tuán)隊在做語音識別；除了學(xué)術(shù)論文豐富，還有幾次的世界范圍的比賽：統(tǒng)一發(fā)送相同的識別任務(wù)，在1-2周內(nèi)發(fā)回結(jié)果，包括準(zhǔn)確率、實時性、抗干擾性等逐漸深入的指標(biāo)。這一時期的擁有內(nèi)部語音識別技術(shù)、并以語音為主營的公司也有10多家。但，根本來說還是這一領(lǐng)域的復(fù)雜性艱難性，使他們當(dāng)時的商務(wù)目標(biāo)全都失敗了、都沒有靠語音賺到錢，多數(shù)公司都關(guān)閉了。其中留下來的最大和最好的一家是美國的nuance公司，及其若干合作方式。在某個階段，它除了提供最好最大的識別技術(shù)內(nèi)部的“引擎”，還為了下游公司方便開發(fā)應(yīng)用，提供很多“開發(fā)平臺”以及企業(yè)級應(yīng)用方案。在美國歐洲也都出現(xiàn)了電話網(wǎng)絡(luò)上成功運營的全語音互動咨詢服務(wù)（自動坐席）、面對一個有限的應(yīng)用范圍，如飛機航班、**信息等、達(dá)到了相當(dāng)自然的對話程度、并絕大多數(shù)時間能夠滿意地自動應(yīng)答獲得信息。但最后的10多年來，并沒有出現(xiàn)突破這些“有限范圍”服務(wù)局限的新發(fā)展。筆者了解到國內(nèi)幾年前的水平，同樣是采用國外大公司提供的語音引擎、開發(fā)平臺，以及（國內(nèi)外）語音板卡硬件以運行于電信級環(huán)境，擁有號稱幾百人開發(fā)團(tuán)隊的自動坐席技術(shù)提供公司，所開發(fā)出的服務(wù)，只是將現(xiàn)有“選A請按3”類的分類菜單操作，平移改為死板的語音指令輸入而已，沒有給用戶提供任何提升的體驗，自然也就沒有任何發(fā)展前景。可見一斑：即使是僅僅外部的應(yīng)用層工程開發(fā)，語音互動技術(shù)也還是需要相當(dāng)深入的多學(xué)科基礎(chǔ)的，否則就只能是對該技術(shù)的簡單濫用了。值得一提的國內(nèi)科大訊飛公司多年的積累，在首先成功獲得語音合成（中文版）的市場主導(dǎo)地位以后，近年來也開發(fā)成功大型語音識別引擎及系統(tǒng)及方案。 上面雖然提到語音識別系統(tǒng)內(nèi)部所用的、用于限制范圍的語音模型，這還遠(yuǎn)不是走向類似人類那樣完全自然方式對話的工作。解決這個問題的領(lǐng)域叫做“自然語言處理”（NLP），簡單說是在語音識別得出單詞序列以后、再進(jìn)行的“理解”并達(dá)到對話過程的控制引導(dǎo)、和直接執(zhí)行服務(wù)中的動作的巨大研究領(lǐng)域；當(dāng)然了，識別出的單詞會有錯誤，所以真實的系統(tǒng)不是這樣硬性分離識別和理解這2個步驟的。或者說，自然語言處理是處理“文字”的，而非直接處理語音格式的信息。這個領(lǐng)域與自動翻譯系統(tǒng)有很大重疊。這里面也同樣有規(guī)則vs統(tǒng)計的基礎(chǔ)方法問題，或者上升到哲學(xué)層面（這類的領(lǐng)域，哲學(xué)指導(dǎo)是真真實實需要的喔），就是人類“理性主義”和“經(jīng)驗主義”的對決和融合。方興未艾、按下不提。 除了艱難的學(xué)術(shù)探索和內(nèi)核技術(shù)提升，蘋果的iris走的是另外的道路：應(yīng)用導(dǎo)向。也就是說，從應(yīng)用角度來連接現(xiàn)有模塊所能夠達(dá)到的最好程度、并佐以自家開發(fā)的模塊來共同構(gòu)筑對于能夠提升用戶總體體驗的新服務(wù)。Iris被蘋果購進(jìn)之前，據(jù)說也是基于國防項目的一個實時信息管理軟件、并由幾個能人做成手機上的服務(wù)應(yīng)用。可以說，這里面語音識別和互動僅僅是一小部分而已。總體目標(biāo)是一個能夠根據(jù)實時動態(tài)廣泛的網(wǎng)絡(luò)上的信息，來提供信息服務(wù)的“個人助理”。也就是說，不僅它的語音識別和自然語言理解的計算，是基于云平臺上的巨大計算資源來達(dá)到更加精確，而所用信息也是通過云不斷采集和分析擴展的。也就是說，你在手機上說出的搜索單詞，是上傳到服務(wù)器的巨大主機上去進(jìn)行運算、并獲取那里擁有的歷史及實時信息，再將識別或查詢結(jié)果傳回到手機上，所以手機只是這個過程的應(yīng)用界面和接口，使用時會因為網(wǎng)絡(luò)原因而略顯延遲。而它自身的自然語言處理模塊，也是結(jié)合進(jìn)了實時采集到的信息分析結(jié)果的特征，來更好地猜想用意、收集習(xí)慣歷史、引導(dǎo)對話等，是一種非常貼近實際的NLP開發(fā)方式。它的初步成果再一次說明了：面對艱難的跨學(xué)科技術(shù)，從應(yīng)用角度入手，而不是等待它發(fā)展到完美，是一條可行的道路。而這些“應(yīng)用層”中部分不得已添加的模塊，也許有些后來會成為對于語音識別和自然語言理解領(lǐng)域的、尚不完善理論的巨大補充和新的發(fā)展方向；就像早期語音識別技術(shù)被“大膽”的軟件工程師搞成功一樣。自然語言理解旨在令系統(tǒng)達(dá)到能夠接近人類自然方式的對話、并完成服務(wù)中的任務(wù)。所以，這個領(lǐng)域的發(fā)展，也同樣需要理論和實踐兩個方面的營養(yǎng)；會是未來幾十年的工作。這也是如今熱起來的云計算和“大數(shù)據(jù)”領(lǐng)域中很好的方向。 另外一個方面的挑戰(zhàn)是信號層面的干擾：當(dāng)語音互動系統(tǒng)，在用于遠(yuǎn)距離“免提”方式時，MIC采集到的信號中會存在諸多嚴(yán)重干擾（嘴巴貼近MIC時，環(huán)境干擾音相對會成為很小，因此除了超大強度的噪音，使用雙MIC對話都不再是問題）。畢竟在很多環(huán)境的應(yīng)用中，人們還是希望能夠免提操作的，就像科幻電影中的那樣，人在室內(nèi)任何地方隨時發(fā)出語音指令、而系統(tǒng)回答，而不是手持一個裝置貼近嘴巴！首先，困難的來源是統(tǒng)計語音模型的參數(shù)對于所有外界變化都非常敏感，以至于“干凈”環(huán)境中訓(xùn)練出來的模型，直接用到了干擾環(huán)境中，識別率會大大下降到完全無用的程度。一個封閉環(huán)境（如客廳）中的干擾，主要包括環(huán)境噪音（加性）、回聲混響（卷積）、和競爭語音（如電視機里的播音會干擾你的語音指令）這三種；當(dāng)然它們的組合就會更加困難，例如競爭語音以及所需要識別的指令語音，同時也是經(jīng)過嚴(yán)重混響的。混響是指通過不同墻壁家具等平面反射而混合的信號，其中包含諸多相位混亂版本信號的組合！雖然人類仍可以完全聽清，算法卻因為缺少這部分的知識能力而大大影響識別。目前對所有這些遠(yuǎn)距離信號的處理，基本采用進(jìn)入識別系統(tǒng)之前的“凈化”處理，多采用多個MIC的結(jié)構(gòu)。MIC本身和采集電路成本都很低，目前很多高檔手機都從2個到3個MIC了；但復(fù)雜的是它們后面的處理算法、遠(yuǎn)沒有達(dá)到成熟的程度。微軟的視頻互動硬件Kinect系統(tǒng)（主要用于體感游戲中的視頻識別）中已經(jīng)集成了多個MIC和集成進(jìn)芯片的部分語音增強算法，而這顆芯片是一家以色列公司提供的專有技術(shù)。從外部開發(fā)算法的方向，粗略的分類目前主要有“盲源分離”（BSS）和“盲消混響”（BD），并且每個具體的算法、以及應(yīng)用方式，是與說話者數(shù)量、移動情況、MIC數(shù)量、位置和增強信號處理的目標(biāo)有關(guān)；雖然已達(dá)到部分增強所要識別的語音的程度，但尚有巨大挑戰(zhàn)要面對。未來一旦某算法獲得成功、能夠在某個方面對于某類應(yīng)用提供關(guān)鍵性的提升，就可以進(jìn)一步將那個算法用快速DSP芯片來實現(xiàn)，并在系統(tǒng)中集成進(jìn)這顆DSP，如此作為某個抗干擾語音互動系統(tǒng)的初期系統(tǒng)架構(gòu)（硬件成本會有較大的增加）。值得一提的是：車載導(dǎo)航和娛樂系統(tǒng)中，語音互動有著非常重要的作用，就是提高駕駛員駕車的安全性（連國內(nèi)也開始為開車打手機罰款了），但車?yán)锏脑胍粢彩沁@類系統(tǒng)的挑戰(zhàn)之一。所以同樣地，多MIC設(shè)置（MIC陣列）加處理算法是未來的方向。 大的投入或者說持續(xù)的學(xué)術(shù)努力，在識別方面有引進(jìn)更多的基于語音分類（如方言習(xí)慣）的模型結(jié)構(gòu)細(xì)化、“深度連接神經(jīng)網(wǎng)”上的新結(jié)構(gòu)和新算法、將更加深入的統(tǒng)計信號處理方法（包括神經(jīng)網(wǎng)和機器學(xué)習(xí)）用于上述的BSS和BD等。值得關(guān)注的一點是，由于神經(jīng)網(wǎng)類的算法要在并行硬件的計算結(jié)構(gòu)上才能夠更加高效地發(fā)揮作用、或者說同樣的運算資源成本，運行本來比HMM更加復(fù)雜的基本結(jié)構(gòu)和算法，能夠達(dá)到比HMM更好的識別效果，因此一種新的硬件架構(gòu)GPU就開始被用于這類計算。GPU雖然本身是為圖形渲染而設(shè)計，但近年來也已經(jīng)被廣泛用于科學(xué)計算，大到超級計算機、小至智能手機平板電腦（集成進(jìn)主應(yīng)用處理器的GPU核），其實都可以將部分處理用的運算算法任務(wù)，交予GPU來做，它正好提供大量簡單單元的巨量并行連接。這也是未來方向，有些讓人感覺又可以開發(fā)一些此前運算量太大、CPU或DSP都“自不量力”的信號處理復(fù)雜算法了。 語音識別和自然語言處理，這樣一個學(xué)科發(fā)展到如今，已經(jīng)到了巨大投入只能換來微小改善的階段、或者是在等待一個全新架構(gòu)的突破。。。 順便介紹一下：筆者曾親自開發(fā)出一款低成本、完全基于DSP的語音互動+控制的硬件模塊，主要用于智能玩具的小詞匯量的語音互動，它也仍在發(fā)展中。已經(jīng)包含了一些簡單的抗噪功能，并且能夠識別非特定人的連續(xù)語音（用戶無須訓(xùn)練、也無須提供語音資料，只提供文本腳本即可），以及包含一些簡單初步的語音理解功能。這是完全“從頭”開發(fā)出來的東西，當(dāng)然不建議任何人都這樣從頭去做，我自己之所以做，部分是興趣使然、測試一下這樣做的可行性。結(jié)果是：一款僅幾十MIPS的DSP可以做到這樣，并且包含了對外控制等功能，提供了很大的可擴展性，以及為下游用戶提供了產(chǎn)品開發(fā)的最大的方便（且不是死板語句的識別），應(yīng)該說，是業(yè)界中少有的成果了。它包括硬件模塊以及相應(yīng)的開發(fā)工具鏈，并為客戶提供設(shè)計協(xié)助。 如果任何公司或個人發(fā)燒友對于語音識別或互動有興趣探討或開發(fā)，可以隨時聯(lián)系我；在此處的提問回帖我也會一一作答。這里一并建議：（1）想好自己的應(yīng)用，因為語音技術(shù)尚沒有達(dá)到可以應(yīng)對“任何”應(yīng)用的程度，然后選好運行平臺，這是成本等問題；（2）如果在電腦上、網(wǎng)絡(luò)上或者智能手機平板電腦上通過操作系統(tǒng)來運行語音服務(wù)軟件，可以采用的語音識別內(nèi)部引擎有：微軟、IBM等，以及眾多被修改簡化了的算法軟件：以開發(fā)SDK或者完整應(yīng)用程序的方式提供。因為語音技術(shù)本身沒有給誰賺錢，也就基本沒有人還繼續(xù)拿它賣錢了，所以免費的就很多；但是識別質(zhì)量、運行環(huán)境、接口、開發(fā)方式等，就要你自己搞明白了。如果它有個“演示”程序或免費試用版什么的，可以逐漸做起來。如果有興趣更深入地去做，也可以使用劍橋的非常好的免費軟件工具平臺HTK，但這個需要你自己建立所有模型、編輯和使用語料進(jìn)行訓(xùn)練等。如果做好了，識別率也是很高的；（3）即使你不做語音技術(shù)的內(nèi)部，對于它的外部邏輯，還是要有充分的理解，才好開始開發(fā)這些互動應(yīng)用；也就是說，除了普通的軟件工程問題，還要從“一個人如何對話”這方面去理解一下問題本身，對于你的應(yīng)用軟件設(shè)計是非常重要的。這是因為，語音對話是人類太想當(dāng)然的動作了，對于它的內(nèi)部動作，例如“在哪個菜單”的設(shè)計考慮，就會忽略忘記；（4）如有理論或架構(gòu)上的切磋，非常歡迎！討論結(jié)果也許是未來博文的來源之一。 |
