|
來源：Forbes 《福布斯》網站今日刊文，專訪“谷歌大腦背后的大腦”Jeff Dean。Dean回顧了他自1999年加入至今在公司的不同角色，重點介紹了谷歌大腦的項目內容。Dean 認為，谷歌保持創新的源泉在于保持部門的靈活性。軟件開源與開放的文化有助于這家公司吸引頂級人才，從事研發。他個人猜測，實現通用AI最快僅需15年。 Jeff Dean 是谷歌最早的雇員之一，他1996年從華盛頓大學計算機系獲得博士學位，1999年加入谷歌。他是谷歌成長過程的關鍵人物，谷歌分布式計算基礎構架主要由他設計和完成，該構架支持了谷歌的大部分產品。 谷歌 CEO Sundar Pichai 曾說谷歌將從根本上成為一家人工智能公司。作為系統和基礎構架部門的資深研究員，Dean和他的團隊對于實現這一目標至關重要。在這篇內容廣泛的訪談中，Dean 描述了他在谷歌的多種角色、公司的 AI 愿景，他對于谷歌如何在成為巨頭后保持企業奮斗精神的看法，以及許多其他話題。 谷歌如何與官僚主義戰斗 Peter High：Jeff Dean，你從1999年起就加入了谷歌，見證了谷歌的大部分歲月。請簡要介紹一下在谷歌的 17 年間你的角色演變。 Jeff Dean:當我加入時，公司還很小。我們都擠在帕洛阿爾托的大學街上的一座小辦公室里。我做的第一件主要任務是建造我們的第一個廣告系統。而后我用了四五年時間做抓取、索引和搜索系統，這些是每一次谷歌檢索都會用到的服務。之后，我大多與我的同事 Sanjay Ghemawat 等人一起工作，建造軟件基礎構架，谷歌用該構架來存儲和處理大數據集、做建立搜索索引或處理衛星圖像之類的事。最近，我一直在做機器學習系統方面的工作。 High：你的涉獵范圍如此廣闊，你的職責也如此多樣，我猜想你不會有模式化的工作日常。你怎樣決定與公司內外的哪些人互動？我很感興趣的是，你如何在你現在從事的不同事務上分配時間。 Dean：我沒有典型的工作日常。在前十四到十五年里，我沒有擔任任何管理職位，因此我有更多的自由時間來專注寫代碼。在過去的幾年里，我在一些機器學習項目上擔任了管理職位，這對我來說很有趣，也是一種新的學習體驗。在公司歷史上我做過許多項目，我想要與這些不同項目的進展保持聯系，所以我常常會收到很多電子郵件。 我花許多時間來處理電子郵件，大部分時間用來刪除郵件，或是瀏覽郵件以了解正在發生什么。我有幾個只要有時間就會去做的技術項目，我在各種會議和設計評審之類的事之余抽時間去做這些項目。 High: 谷歌在經過戲劇性的增長之后仍然是創新的典范。它仍然像當年小企業時期那樣雄心勃勃、富于創新，另一方面它已擁有了科技巨頭的人力和財力資源。公司如何與停滯和官僚主義戰斗，以便能讓自己保持敏捷，不被規模拖累？ Dean：從我加入時起，我們一直經歷著公司的持續增長。在早年，我們每年都會將雇傭人數翻倍。如果用百分比來衡量，我們現在大大放慢了招聘新員工的速度，然而如果用絕對數量來衡量，我們仍然在經歷著實質性增長，大約每年新增10%、20%的雇員。每當公司規模翻倍，這都會驅使我們重新思考公司做事的方式。那些在X規模水平上有效的方法，在2X規模水平上就不再有效了。我們已經解決了如何讓我們的企業風格、工程方法、組織結構、團隊動力適應新的規模。 我認為，對我們的成長幫助很大的一件事是，我們傾向于把工作分岔成許多不同領域，這些領域與谷歌正在做的其他東西保持一定的獨立。建造能帶來互聯網接入的高空熱氣球，這種項目就和搜索服務之間沒多大關系。我們實質上擁有多個不同的活躍項目，這些項目不像核心業務內部的項目那樣需要大量的溝通，由此我們可以獲得規模和效率。 High：據我理解，谷歌/Alphabet之間的分離也體現了這種邏輯——試圖保持敏捷性，同時將各種不同的活動分離開。可以這么說嗎？ Dean:可以。我認為這使得 Alphabet下的其他一些部門能更獨立的運行。關于這種規模上的翻倍，我想說的第一點是，這確實帶來了一些變化，過去我們每個人都在同一座辦公樓里工作，現在每個人都需要在不同的辦公樓間往返。 另一件事是，過去我們的工程人員都位于山景城，后來我們在蘇黎世、紐約、東京和西雅圖都建立了工程機構。有一段時間，我們同時擁有這五個機構，而它們也都發展得更龐大。之后的短短幾年里，我們從五個工程機構發展到三十五個工程機構，因為我們感到，我們可以在世界各地找到那些有天分的人，并在他們附近建立機構吸引他們。這使得我們必須重新思考我們如何將工程方面的努力組織起來。 如果你只有一家小機構，那么你大概不應該讓員工去做一百件事；他們應該只去做少數幾件事，并專注于將它們做好。一些小機構曾經以山景城總部的做法為榜樣，他們會去看山景城的人在做什么；他們發現山景城的人在做一百件不同的工作，于是他們以為自己也應該去做一百件不同的工作。我們經歷周折才找到一種更好的方式，把分布在各地的工程機構的員工都調動起來。 個人猜測：最快 15 年實現通用人工智能 High：谷歌 CEO Sundar Pichai 曾說，從長期看，硬件設備將退隱，而計算將從移動優先演化到人工智能優先。關于這個人工智能優先的世界，你將如何表述谷歌的愿景？ Dean：我認為我們已經從桌面計算轉移到了移動計算，現在每個人都隨身攜帶者計算設備。隨著設備持續降價，語音識別和其他替代性的用戶界面變得更加實用，這些將改變我們與計算設備互動的方式。設備將隱退到背景中，環繞在附近，讓我們能夠隨時與他們說話，就想我們能與信賴的同伴說話一樣。 它們將幫助我們獲得更多信息，或幫我們完成各種任務。我認為這是機器學習前進的主要目標之一：讓計算機能像人類同伴一樣提供建議，在需要時搜尋更多的信息，以及這一類的事情。我認為未來五到十年將會令人振奮。 High：隨著技術進步以及人工智能各種目標的實現，似乎人們不再將這些已實現的東西稱為人工智能。也就是說，人工智能似乎總是以“將來時”的形態被談論。你如何定義人工智能的界限？ Dean:我認為真正的人工智能將是這樣一個系統，它能執行人類水平的推理、理解，完成復雜任務。我們很明顯尚未達到這一點，但你說的很對，我們已取得了很多進展。五年前，還根本不可能讓電腦從圖像中生成對圖片進行人類水平的語句描述。如今，電腦生成的句子可能會說，“這是一張男子在網球場上手持網球拍的圖片”。與此同時，人類可能會說，“這是一張網球手準備發球的圖片”。 人類所做的描述更精妙，不過計算機已經可以生成接近人類水平的圖片說明，這一事實本身就是一個巨大的進步。這只是過去五到六年里人們將更復雜的機器學習模型投入應用所取得的進展之一。當人們將模型應用于更大的數據集和更多的計算時，結果將變得更好。 High：你認為我們離通用人工智能還有多遠？ Dean：如果你問不同的人，就會得到不同的答案。出于純粹的猜測，我認為我們離通用人工智能的距離是 15 年到 50 年——或許 15 年左右的可能性更大。 High: 正如你提到的，語言是關鍵要素，而谷歌的許多人工智能創新都圍繞著語言，無論是從網絡中讀取和理解事物，還是從事智能對話或理解文本。你能否談談，通過什么路徑能讓機器更好地闡釋信息？在你看來，什么是能夠讓我們哪怕不能實現也至少能接近通用人工智能的階梯？你在這方面做哪些工作？ Dean:我認為，一個重要的領域是信息檢索領域，而這一領域正是谷歌早期工作的基礎。按照傳統，信息檢索并不試圖真的理解當用戶輸入查詢時想要什么。它更多地是關于查找那些包含某個單詞或相近單詞的文檔。有趣的是，最近四五年來，我們已能夠開始研發一些技術，這些技術能更好地理解“汽車”這個單詞的本質。當我們知道“汽車”、“汽車們”、“車”、“客車”、“皮卡”等單詞都以某種方式聯系在一起時，我們就能夠以平滑的方式匹配文檔，使許多語言理解任務導向更好的結果。 我們不僅能理解詞語，我們也已經快要能夠理解兩個句子互為同義句。這一點是新的語言理解水平的起點，在新的水平上，我們將能夠以機器學習的方式理解長得多的文本。 我們對未來幾年的一個良好目標是，我們希望實現：輸入數百或數千份文件，然后可以就這些文件的內容進行對話。或許系統將會總結文件的內容，或許系統將對文件內容進行提問或回答。我認為，這才是真正能展現高水平語言理解的東西。 谷歌大腦：谷歌的產業研究院 High: 似乎你和你的團隊的一些進展已經開始進入谷歌產品了，例如谷歌新的對話虛擬助理“Google Assistant”、谷歌用來與亞馬遜 Echo 競爭的”Google Home”、用來提供面向谷歌服務的對話界面的消息應用”Allo”。你對近期谷歌推出的這些新產品和服務有何看法？ Dean:我現在領導的研究團隊名叫谷歌大腦。我們專注于建造可用于機器學習的大規模計算系統，以及進行高級機器學習研究。我們同時擁有這兩方面的人才，而他們聯合起來解決問題，這常常會帶來顯著的進步，這種進步是只具有機器學習技能或只具有大規模計算技能的人無法單獨取得的。我認為這是我們團隊取得眾多成功的原因之一。它使我們既在這兩個領域取得成功，也讓我們能夠將“為問題投入多少計算”和“如何為我們關心的問題訓練大型、強大的模型”方面的最高水平進一步提升。 我們認識到，我們的一些研究成果能被用來改善谷歌目前的產品，這使得我們對于從事長程研究感到相當樂觀。我們將和產品團隊一起工作并對他們說，“嘿，我們認為這個機器學習研究將會在你的產品的這個情境中有用處”。有些時候我們只是簡單地把東西移交對方。有些時候，需要我們團隊和產品團隊之間的深度協作才能讓研究成果在產品中實現。 谷歌大腦研究團隊的一項工作，是研發一個名叫“序列到序列學習”的模型。這里的想法是，你使用一個輸入序列來預測某個輸出序列。這聽起來很小，但它可以和許多你很想解決的現實問題匹配起來。他們發表的論文最初是在語言翻譯語境下的。輸入序列可能是一個句子中的英文單詞，每次輸入一個句子的序列。 這個模型被訓練為輸出等效的法語單詞以創造一個與英文句子同義的法語句子。這與其他機器翻譯系統很不一樣，別的系統通常是運用機器學習或統計模型對問題編碼和分割，再把它縫合起來。與這些方法相反，新的模型是徹底的端到端的機器學習系統，你只要向系統喂入不同語言的同義句對子，系統就會學習從一個語言翻譯到另一個語言。 在其他情境中，這個一般模型也很有用。Gmail 團隊采用了該模型，把它用作“智能回復”功能的基礎。在該功能中，輸入序列是一段收到的電子郵件，而輸出序列是對來信情境下可能回復的預測。例如，你可能收到一封郵件說，“嗨，我們想邀請你參加感恩節晚餐，請告訴我們你能否參加。” 系統所產生的回復可能是“是的，我們很想參加。需要我們帶點什么來？”或者“抱歉，我們不能來”，或者其他與情境相關的內容。這里使用的是同一個模型，只是在不同的數據集上得到了訓練。 High：谷歌大腦的研究和突破應用，怎么樣在谷歌更加傳統的產品中進行部署？ Dean：我們已經開始正式推進這一進程。5年前，當我們第一次開始組建機器學習研究組，調查使用大量的計算和深度卷積網絡處理問題的情況，當時公司里還沒有多少人在使用這種方法。后來，我們發現少數看起來可以有效應用的幾個地方，其中包括語音識別系統，所以我們跟語音識別團隊的同事緊密合作，把深度神經網絡加入到語音識別系統中去，從而在識別精準度上獲得了顯著的提升。然后，我們又與幾個計算機視覺相關的團隊合作，比如圖像識別和一些街景團隊，其中包括，用圖像中的原始像素去訓練模型做一些有意思的事情，從圖像中提取文本或者理解圖像（是美洲豹，垃圾車或是別的什么東西）。 有趣的是，隨著時間的過去，更多的團隊開始采用這些方法，因為他們會聽到別的團隊說在嘗試一些別的東西，并且獲得了好的結果。不然就是，我們可以把他們與這些團隊聯系起來，或者我們可以提供一些在他們特定的問題語境下如何使用這些方法的建議。后來，我們把這些都正規化，所以現在我們就有了一個團隊來做這些擴展工作。首先是聯系想要在產品中用到這些機器學習模型的團隊，他們會描述自己遇到的難題，一般情況下，我們團隊會說：“這似乎跟其他團隊所遇到的難題很像，我們的解決方案很有用，試試看我們的方案，然后給我們反饋”。 2011年到2012年間，公司使用深度神經網絡技術的團隊只有十幾組，現在已經超過200多組，有上千人在訓練這類的模型，使用的就是我們團隊搭建的軟件。 谷歌的開源和開放 High：你也是TensorFlow的主要創建者之一。和其他公司一樣，谷歌也聚焦于開發開放資源的AI技術。你對使用開放資源AI技術的原因和優勢有什么看法？ Dean：現在有許多不同的框架，用于展示不同的機器學習算法，它們都是開源的項目。我認為，能有很多的選擇是一件不錯的事，但是，如果我們能開發出一些東西，讓機器學習社區中更多的人可以在后臺使用并且努力去改進，并且，這些努力中，很多都是在做相同的工作，所以，把他們都集中在一個資料庫，讓多數人都能采用，這就再好不過了。 其背后的原因是，這會讓機器學習的新想法得以更好地表達。傳統的方法是，人們如果有了新的想法，會寫一篇論文，做實驗，并且不會把代碼也發表出來，讓人們去重復這些實驗。作為一個研究者，你會看別人的論文，并且嘗試對比自己和他人的技術。通常，由于這是用論文而不是代碼進行表示，你需要猜測他們究竟做了什么。論文，從本質上看，會忽略掉許多細節，而這并不是有意的。他們可能會說：“我們使用了一個較低的學習率”，但是，你關心的是，他們使用的學習率是0.0001，并且經過幾萬步的調整后，怎么降到了0.005。如果有一個軟件框架，讓人們能夠用代碼展示想法，并用表格的方式發表這些研究模型和想法，會讓社區內的思想流動更加迅速。 對于我們來說，這也便利了我們與谷歌之外的人的合作。通常，我們會有暑期實習生。過去，這些實習生在實習結束后還要寫實習期間工作的論文，但是，那時候他們已經離開谷歌了，所以無法再使用谷歌的計算機，所以這會讓他們很難繼續完成論文，或者再進行一兩次實驗。現在， 他們可以隨時使用這些開放資源或TensorFlow來做這件事，甚至也可以在平臺上找到其他能幫忙的人。我們正在教許多谷歌的工程師使用機器學習，其中最通用的工具就是TensorFlow。 High：谷歌的一個優勢在于擁有很多人工智能和機器學習人才。谷歌研究部門負責人 Peter Norvig 估計全球超過5%的機器學習菁英都在谷歌工作。谷歌是如何讓自己對機器學習頂尖人才變得有如此吸引力的？考慮到機器學習或者說人工智能涉及到計算機科學、工程學、神經科學、生物學、數學等不同學科，你認為如何才能確保招聘來的這些人才任人適用呢？ Dean：我們工作的范圍很廣，人才也各種各樣。我發現，當你把一批不同專業背景的人聚在一起解決問題時，往往比召集一批專業背景類似的人效果更好。從整體上說，你做完了一件沒有人能夠單獨做出來的事情。我們的機器學習團隊就是一個很好的例子。里面有像我這樣的人，擁有很多開發大規模計算系統的經驗，也有世界頂級的機器學習研究者。把這些不同類型的人聚在一起就組成了一個非常強大的團隊。機器學習正在影響醫療、機器人等等很多不同的領域，這是非常好的現象。我們團隊中還有幾位神經科學家。 很快我們將開始一個叫做“谷歌大腦實習培訓”（Google Brain Residency Program）的計劃。我們招人到谷歌和Google Brain一起工作一年，基本上是學習如何進行機器學習相關的研究。我們現在已經得到了大量的申請簡歷，最終項目會留下 28 個人。他們來自不同的背景——計算機科學、統計學、數學、生物學、物理學，處在職業生涯的不同階段——有人剛剛讀完本科，有些人則博士后畢業，還有的已經在產業界工作了一兩年。我認為這將是一個很好的組合，解決問題時都帶來很多不同的觀點。 High：我很好奇，有很多不以技術為中心的傳統公司也會使用人工智能和機器學習，你會在多大程度上與這些傳統公司交流和工作？你怎樣看AI技術的發展曲線？顯然，這在公司之間甚至是行業之間都是不同的。但也有一些領先的傳統行業開始利用人工智能，包括醫療和金融領域，這些機構有著大量的非結構化數據需要處理。你曾經是否與這些傳統行業的公司打過交道，或者和它們討論人工智能在更為傳統的環境中的發展過程？ Dean：其他行業的大多數公司可能沒有谷歌或者其他科技公司在應用機器學習方面表現的好。我認為，隨著時間的推移，最終大多數公司都將越來越多地使用機器學習，因為機器學習將會變得非常強大，為他們的業務帶來變革。我們已經與一些大型的醫療機構討論了要建立合作關系，看看機器學習可以為該領域的某些問題做些什么。我們最近推出了一個云機器學習產品，可以讓人們在谷歌的云平臺上運行機器學習算法。顯然，有許多公司有興趣了解在他們的業務的環境中該如何使用該產品。 我認為這種轉變可能要經過幾個階段才會發生，在這些階段中，你可以使用AI技術和機器學習的方法來解決問題。在一些領域里，理解圖像的內容東西對很多行業來說都是有用的。谷歌和其他公司正在提供簡單易用的界面，而你無需知道任何機器學習的東西。你可以只給出一張圖片，然后說“告訴我這張圖里有什么”，任何沒有機器學習專業知識的軟件工程師都可以這么使用。他們得到的信息可能是“照片里有個體育場，人們在那里打棒球，而且圖像中還有一堆文字，文字是……”即使沒有應用機器學習，這也會是非常有用的。 然后將會有已經開發好的模型，可以用公司的數據重復訓練這個模型來得到一個定制化的解決方案，而且無需研究核心的機器學習技術來開發一個全新的模型。一個很好的例子是序列到序列的工作，我們現在已經應用到谷歌的六七個不同的問題中。另一個很好的例子是一個采集圖像的模型，它能發現圖像中有趣的部分。這個通用模型的一個應用是，檢測街景圖像中的文本位置。你想閱讀所有的文本，但是首先，你必須能在店門、路牌上等這類地方找到它們。這種通用模型在醫療環境中也有用，比如在診斷糖尿病性視網膜病變時，你有一個視網膜的掃描圖像，你想找到該掃描圖像上的疾病指標，這時你就能用上這個模型了。用的是相同的模型結構，你只是在不同的數據中指出病變。你不是在用文本高亮顯示的街景圖像，而是在醫生已經圈好病變部位的視網膜圖像上指出它。我認為該通用模型的方法將很好地解決很多不同類型的問題。 |
