|
在經(jīng)歷了一個(gè)多世紀(jì)的研究后，人工智能 (AI) 最近變成了一個(gè)熱門并且異常重要的領(lǐng)域。尤其值得一提的是，模式識(shí)別和機(jī)器學(xué)習(xí)已經(jīng)發(fā)展到深度學(xué)習(xí) (DL)，這是一個(gè)比較新的名稱，指的是從經(jīng)驗(yàn)中學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò) (NN)。DL目前已廣泛應(yīng)用到了工業(yè)和日常生活中。您智能手機(jī)上的圖像和語音識(shí)別，以及從一種語言到另一種語言的自動(dòng)翻譯，就是DL發(fā)揮作用的兩個(gè)例子。 在講英語的盎格魯文化圈中，許多人以為DL是盎格魯文化圈國(guó)家的一項(xiàng)發(fā)明創(chuàng)造。但實(shí)際上，DL卻是在英語并非官方語言的國(guó)家發(fā)明的。首先，讓我們把目光投向過去，以整個(gè)計(jì)算史為背景了解AI的發(fā)展進(jìn)程。 早期的計(jì)算先行者 安提基特拉機(jī)械 (Antikythera Mechanism) 于公元前一世紀(jì)在希臘建造，是最早的機(jī)械計(jì)算機(jī)器之一。該裝置通過37個(gè)大小各異的齒輪運(yùn)轉(zhuǎn)，用于預(yù)測(cè)天文現(xiàn)象 (圖1)。 
圖1：公元前1世紀(jì)希臘建造的安提基特拉機(jī)械 該裝置包含37個(gè)大小各異的齒輪，它被用來對(duì)天文現(xiàn)象進(jìn)行預(yù)測(cè)。(來源：DU ZHI XING/Shutterstock.com) 安提基特拉機(jī)械的先進(jìn)性在其后1600年內(nèi)一直未被超越，直到紐倫堡的彼得·亨利因 (Peter Henlein) 于1505年開始制造小型懷表。但是，與安提基特拉機(jī)械一樣，亨利因的機(jī)械也不是針對(duì)用戶給出的輸入來計(jì)算結(jié)果的通用機(jī)器。它們只是使用齒輪比來對(duì)時(shí)間做除法而已。手表將秒數(shù)除以60得到分鐘數(shù)，將分鐘數(shù)除以60得到小時(shí)數(shù)。 但在1623年，圖賓根的威廉·�？ǖ� (Wilhelm Schickard) 建造了首臺(tái)進(jìn)行基本算數(shù)的自動(dòng)計(jì)算機(jī)。緊隨其后的是1640年布萊斯·帕斯卡 (Blaise Pascal) 的Pascaline加法器。隨后在1670年，戈特弗里德·威廉·萊布尼茨 (Gottfried Wilhelm Leibniz) 發(fā)明了步進(jìn)計(jì)算器，這是首臺(tái)能夠進(jìn)行加、減、乘、除所有四種基本運(yùn)算的機(jī)器。1703年，萊布尼茨發(fā)表了《二進(jìn)制算術(shù)闡釋》(Explanation of Binary Mathematics)，這就是現(xiàn)在幾乎所有現(xiàn)代計(jì)算機(jī)上都在使用的二進(jìn)制計(jì)算方法。 數(shù)學(xué)分析和數(shù)據(jù)科學(xué)也在不斷發(fā)展。大約在1800年，卡爾·弗里德里希·高斯 (Carl Friedrich Gauss) 和阿德里安-馬里·勒讓德 (Adrien-Marie Legendre) 通過線性回歸（現(xiàn)在有時(shí)稱為“淺層學(xué)習(xí)”）發(fā)展出了模式識(shí)別的最小二乘法。高斯就是使用了這種算法讓人們?cè)俅斡^測(cè)到小行星谷神星。他分析了先前觀測(cè)的數(shù)據(jù)點(diǎn)，然后使用多種技巧來調(diào)整預(yù)測(cè)算式的參數(shù)，從而準(zhǔn)確預(yù)測(cè)了谷神星再次出現(xiàn)的位置，這讓高斯名聲大噪。 差不多在同一個(gè)時(shí)期，法國(guó)出現(xiàn)了第一臺(tái)實(shí)用的程控機(jī)器：由穿孔卡片編程的自動(dòng)織布機(jī)。1800年左右，約瑟夫·瑪麗·雅卡爾 (Joseph Marie Jacquard) 和同事就此成為了第一批事實(shí)上的程序員。 1837年，英格蘭的查爾斯·巴貝奇 (Charles Babbage) 設(shè)計(jì)了被稱為“分析機(jī)”的更通用的程控機(jī)器。當(dāng)時(shí)沒有人能夠把它造出來，也許是因?yàn)樗脑O(shè)計(jì)仍然基于繁瑣的十進(jìn)制而不是萊布尼茲的二進(jìn)制運(yùn)算。不過，至少他設(shè)計(jì)的通用性次之的“差分機(jī)2號(hào)”在1991年造出的樣機(jī)表明能夠運(yùn)行。 20世紀(jì)伊始，智能機(jī)器方向上的進(jìn)步大大加快。以下列出了1900年以來與AI發(fā)展相關(guān)的主要里程碑： ● 1914年，西班牙人萊昂納多·托雷斯·伊·克維多 (Leonardo Torres y Quevedo) 使用電磁元件建造了第一臺(tái)國(guó)際象棋自動(dòng)機(jī)。它能從任何位置開始完成王車殘局而無需人工干預(yù)。當(dāng)時(shí)，國(guó)際象棋被認(rèn)為是一種高智力水平的活動(dòng)。 ● 1931年，奧地利人庫(kù)爾特·哥德爾 (Kurt Gödel) 提出了第一種基于整數(shù)的通用編碼語言，從而成為AI理論以及整個(gè)理論計(jì)算機(jī)科學(xué)的奠基者。他用這種編碼語言來描述通用的計(jì)算定理證明器，確定數(shù)學(xué)、運(yùn)算和AI的基本限制。1960年代和1970年代，AI和專家系統(tǒng)中許多后來的工作都將哥德爾的方法應(yīng)用于定理證明和推論。 ● 1935年，美國(guó)數(shù)學(xué)家阿隆佐·邱齊 (Alonzo Church) 發(fā)表了哥德爾1931年成果的擴(kuò)展，解決了“可判定性難題”，也就是決策難題，引入了被稱為“λ演算”的替代通用語言。這便是流行編程語言LISP的基礎(chǔ)。英國(guó)的艾倫·圖靈 (Alan Turing) 在1936年使用了另一種同樣強(qiáng)大的理論結(jié)構(gòu)重新構(gòu)造了這項(xiàng)成果，現(xiàn)在這種結(jié)構(gòu)被稱為“圖靈機(jī)” (圖2)。他還提出了一種主觀AI測(cè)試。
圖2：英國(guó)人艾倫·圖靈在1936年使用被稱為圖靈機(jī)的理論結(jié)構(gòu)重構(gòu)了流行編程語言LISP。(來源：EQRoy/Shutterstock.com) ● 1935年至1941年間，康拉德·楚澤 (Konrad Zuse) 建造了第一臺(tái)具有實(shí)用意義并且可以工作的程序控制計(jì)算機(jī)Z3。在1940年代，他還設(shè)計(jì)了第一種高級(jí)編程語言，并用它編寫了第一個(gè)通用國(guó)際象棋程序。1950年，楚澤制造出世界第一臺(tái)商用計(jì)算機(jī)Z4，比第一臺(tái)UNIVAC早了幾個(gè)月。 ● 盡管“AI”這一名稱是約翰·麥卡錫 (John McCarthy) 在1956年的達(dá)特茅斯會(huì)議上創(chuàng)造的，但早在五年之前，在巴黎舉辦的著名的計(jì)算機(jī)與人類思想大會(huì) (“Les Machines à Calculer et la Pensee Humaine”) 上就已討論這個(gè)主題。赫伯特·布魯?shù)吕?(Herbert Bruderer) 非常恰當(dāng)?shù)貙⑵浞Q為首次關(guān)于AI的大會(huì)。在那次有數(shù)百名世界專家參加的會(huì)議上，諾伯特·維納 (Norbert Wiener) 和前面提到的托雷斯·伊·克維多著名的國(guó)際象棋機(jī)進(jìn)行了一場(chǎng)對(duì)局。 ● 20世紀(jì)50年代后期，弗蘭克·羅森布拉特 (Frank Rosenblatt) 開發(fā)了用于“淺層神經(jīng)網(wǎng)絡(luò)”的感知機(jī)和簡(jiǎn)單學(xué)習(xí)的算法。這些實(shí)際上是高斯和勒讓德在1800年左右推出的古老線性回歸器的變形。羅森布拉特后來還考慮過更深度的網(wǎng)絡(luò)，但并未取得太多進(jìn)展。 ● 1965年，兩位烏克蘭人阿列克謝·伊瓦赫年科 (Alexey Ivakhnenko) 和瓦倫丁·拉帕 (Valentin Lapa) 發(fā)表了第一篇有關(guān)具有任意層數(shù)的深層多層感知機(jī)學(xué)習(xí)算法的文章。如果說前饋網(wǎng)絡(luò)領(lǐng)域中有一位“深度學(xué)習(xí)之父”，一定非伊瓦赫年科莫屬。即使按照2000年以后的標(biāo)準(zhǔn)，他的網(wǎng)絡(luò)也屬于深層 (達(dá)到8層)。和如今的深度神經(jīng)網(wǎng)絡(luò)類似，他的網(wǎng)絡(luò)能夠通過學(xué)習(xí)來創(chuàng)建分層和分布式的傳入數(shù)據(jù)內(nèi)部表述。最近幾十年來，深度學(xué)習(xí)變得非常重要。它是AI的一個(gè)專門化分支，在某種程度上與人腦有關(guān)；人腦包含大約1000億個(gè)神經(jīng)元，每個(gè)神經(jīng)元都與1萬個(gè)其他神經(jīng)元相連接。其中有些是輸入神經(jīng)元，可為其他神經(jīng)元提供數(shù)據(jù)（聽覺、視覺、觸覺、痛覺、饑餓感）。還有一些神經(jīng)元是輸出神經(jīng)元，可以控制肌肉。大多數(shù)神經(jīng)元隱藏于二者之間，思維就在這些神經(jīng)元中進(jìn)行。大腦通過改變連接的強(qiáng)度或權(quán)重來學(xué)習(xí)，這些連接決定了神經(jīng)元相互影響的強(qiáng)度，并對(duì)一生中的所有經(jīng)歷進(jìn)行編碼。如今的深度學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)正是由此獲得啟發(fā)，能夠比之前的方法更好地學(xué)習(xí)。 ● 1969年，馬文·明斯基 (Marvin Minsky) 和西摩·佩珀特 (Seymour Papert) 的出名著作《Perceptrons: an introduction to computational geometry》(感知機(jī)：計(jì)算幾何學(xué)導(dǎo)論) 介紹了淺層學(xué)習(xí)的局限性，探討了這個(gè)實(shí)際上已在4年前由阿列克謝·伊瓦赫年科和瓦倫丁·拉帕解決的問題。有人說明斯基的書延緩了與神經(jīng)網(wǎng)絡(luò)有關(guān)的研究，但事實(shí)并非如此，或者說在美國(guó)之外進(jìn)行的研究肯定不是這種情況。在隨后的幾十年里，許多研究者 (尤其是在東歐) 以伊瓦赫年科等人的成果為基礎(chǔ)繼續(xù)研究。即使是在2000年代，人們?nèi)栽谑褂盟粡V泛引用的方法來訓(xùn)練深層網(wǎng)絡(luò)。 1970年之前的歷史就介紹到這里。在AI歷史第二部分，我們將會(huì)詳細(xì)講述后續(xù)發(fā)展。 文章來源：貿(mào)澤電子 作者簡(jiǎn)介：Jürgen Schmidhuber經(jīng)常被媒體譽(yù)為「現(xiàn)代人工智能之父」。他在大約15歲時(shí)就希望能開發(fā)一種比他自己更聰明、能夠自我完善的人工智能 (AI)，并以此作為退休之前的主攻目標(biāo)。他的實(shí)驗(yàn)室自1991年起引領(lǐng)了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的研究，提出了包括長(zhǎng)短期記憶 (LSTM) 在內(nèi)的多項(xiàng)技術(shù)，為機(jī)器學(xué)習(xí)領(lǐng)域帶來了革命性的創(chuàng)新。到2017年，LSTM已經(jīng)在30億設(shè)備上得到運(yùn)用，每天由全球數(shù)家市值最高上市公司的用戶發(fā)起的使用請(qǐng)求多達(dá)數(shù)十億次。LSTM顯著改善了超過20億臺(tái)Android手機(jī)的語音識(shí)別功能（2015年起）；谷歌翻譯使用LSTM大幅改善了機(jī)器翻譯的質(zhì)量（2016年起）；Facebook每天使用LSTM技術(shù)執(zhí)行逾45億次自動(dòng)翻譯（2017年）；蘋果公司在約10億臺(tái)iPhone的Siri和Quicktype功能中采用了LSTM技術(shù)（2016年起）；亞馬遜公司的Alexa語音助手也采用LSTM技術(shù)來回答問題（2016年起）；還有各種數(shù)不勝數(shù)的其他應(yīng)用也采用了LSTM技術(shù)。2011年，他的團(tuán)隊(duì)率先借助深度神經(jīng)網(wǎng)絡(luò)技術(shù)贏得了一項(xiàng)官方舉辦的計(jì)算機(jī)視覺識(shí)別大賽，并且識(shí)別能力超過了人類；2012年，他們又率先借助深度神經(jīng)網(wǎng)絡(luò)技術(shù)贏得了一項(xiàng)以檢測(cè)癌癥為主題的醫(yī)療影像識(shí)別大賽。這些成就無不引起了業(yè)界的極大興趣。此外，它的研究小組還涉足元學(xué)習(xí)、數(shù)學(xué)嚴(yán)謹(jǐn)?shù)耐ㄓ肁I，以及在通用問題求解中通過自我學(xué)習(xí)實(shí)現(xiàn)遞歸自我改善（1987年起）。在1990年代，他在研究中引入了無監(jiān)督對(duì)抗神經(jīng)網(wǎng)絡(luò)，這些神經(jīng)網(wǎng)絡(luò)通過極大極小博弈 (minimax) 的方式相互競(jìng)爭(zhēng)，以實(shí)現(xiàn)人工好奇心等特性。他的創(chuàng)造力，好奇心和樂趣的正式理論解釋了藝術(shù)，科學(xué)，音樂和幽默。他提出的有關(guān)創(chuàng)造力、好奇心和樂趣的形式理論可以為藝術(shù)、科學(xué)、音樂和幽默提出解釋。他還概括了算法信息論和物理學(xué)中的多世界理論，并且引入了「低復(fù)雜度美學(xué)」的概念，也就是信息時(shí)代的極簡(jiǎn)藝術(shù)形式。他在研究生涯中獲獎(jiǎng)無數(shù)，寫作了超過350篇經(jīng)過同行評(píng)審的論文，并且頻繁現(xiàn)身大型活動(dòng)的主題演講。他是NNAISENSE公司的首席科學(xué)家，該公司肩負(fù)著率先實(shí)現(xiàn)實(shí)用的通用AI的使命。他還向許多政府機(jī)構(gòu)提供有關(guān)AI戰(zhàn)略的建議。 |
