吳恩達的來信 親愛的朋友們， 幾年前，我們計劃在有限的計算量預算內將該算法應用于一個龐大的用戶群，所以有必要選擇一個高效的算法。 在神經網絡和決策樹學習算法之間，我選擇了神經網絡。 因為我已經有一段時間沒有使用提升決策樹了，我直覺上認為它們需要的計算量比實際要多，但選擇神經網絡是一個錯誤的決定。 幸運的是，我的團隊很快就指出了錯誤，并修正了我的決定，而這個項目最后也獲得了成功。 這次經歷給我上了一課，告訴我學習和不斷刷新基礎知識的重要性。如果我重新熟悉了提升樹，我就會做出更好的決定。
機器學習和其他技術領域一樣，隨著研究人員社區在彼此工作的基礎上不斷發展，一些貢獻經過時間的考驗后，長盛不衰，并成為進一步發展的基礎。 從住房價格預測器到文本、圖像生成器，一切新算法都建立在基礎算法上（例如線性和邏輯回歸、決策樹等）和基礎概念（如正則化、優化損失函數、偏差/方差等）的核心思想上。 堅實的、時刻更新的基礎知識是成為一名高效的機器學習工程師的一個關鍵。許多團隊在日常工作中都會用到這些想法，而博客文章和研究論文也常常假定你對這些思想很熟悉，這些常識基礎對于我們近年來看到的機器學習的快速進步至關重要。 這也是為什么我把原來的機器學習課程進行了更新。
我的團隊花了很多時間來討論最核心的教學概念，為各種主題制定了廣泛的教學大綱，并在其中設計了課程單元的原型。 這個過程幫助我們認識到，主題的多樣性比細節的知識更重要，所以我們又重新制作了一份大綱。 我希望最后的結果是一套易于理解的課程，能夠幫助任何人掌握當今機器學習中最重要的算法和概念，包括深度學習，但也包括很多其他東西，并能夠建立有效的學習系統。 本著這種精神，我們決定探討一些領域內最重要的算法，解釋了它們是如何工作的，并介紹它們不為人知的起源。 如果你是一個初學者，我希望它能幫助你揭開機器學習核心的一些方法的神秘面紗。 對于那些老手來說，你會在熟悉的領域中發現一些鮮為人知的觀點。 學無止境，保持學習！ 吳恩達 線性回歸 線性回歸（Linear regression）可能是機器學習中的最重要的統計方法，至于誰發明了這個算法，一直爭論了200年，仍未解決。 1805年，法國數學家勒讓德（Adrien-Marie Legendre）在預測一顆彗星的位置時，發表了將一條線擬合到一組點上的方法。天體導航是當時全球商業中最有價值的科學，就像今天的人工智能一樣。 四年后，24歲的德國天才數學家高斯（Carl Friedrich Gauss）堅持認為，他自1795年以來一直在使用這種方法，但他認為這種方法太過瑣碎，無法寫出來。高斯的說法促使Legendre發表了一份匿名的附錄，指出「一位非常有名的幾何學家毫不猶豫地采用了這種方法」。 這類長期存在發明爭議的算法都有兩個特點：好用，且簡單！ 線性回歸的本質上就是斜率（slopes）和截距（biases，也稱偏置）。 當一個結果和一個影響它的變量之間的關系是一條直線時，線性回歸就很有用。 例如，一輛汽車的油耗與它的重量呈線性關系。
一輛汽車的油耗y和它的重量x之間的關系取決于直線的斜率w（油耗隨重量上升的陡峭程度）和偏置項b（零重量時的油耗）：y=w*x+b。 在訓練期間，給定汽車的重量，算法預測預期的燃料消耗。它比較了預期和實際的燃料消耗。然后通過最小二乘法，使平方差最小化，從而修正w和b的值。 考慮到汽車的阻力，有可能產生更精確的預測。額外的變量將直線延伸到一個平面。通過這種方式，線性回歸可以接收任何數量的變量/維度作為輸入。 線性回歸算法在當年可以幫助航海家追蹤星星，后來幫助生物學家（特別是查爾斯-達爾文的表弟弗朗西斯-高爾頓）識別植物和動物的遺傳性狀，進一步的發展釋放了線性回歸的潛力。 1922年，英國統計學家羅納德-費舍爾和卡爾-皮爾遜展示了線性回歸如何融入相關和分布的一般統計框架，再次擴大了其適用范圍。 近一個世紀后，計算機的出現為其提供了數據和處理能力，使其得到更大的利用。 當然，數據從來沒有被完美地測量過，而且多個變量之間也存在不同的重要程度，這些事實也刺激了線性回歸產生了更復雜的變體。 例如，帶正則化的線性回歸（也稱為嶺回歸）鼓勵線性回歸模型不要過多地依賴任何一個變量，或者說要均勻地依賴最重要的變量。如果你要追求簡化，使用L1的正則化就是lasso回歸，最終的系數更稀疏。換句話說，它學會了選擇具有高預測能力的變量，而忽略了其他的變量。 Elastic net結合了兩種類型的正則化，當數據稀少或特征出現關聯時，它很有用。 神經網絡中最常見的一種神經元就是線性回歸模型，往往后面再跟著一個非線性激活函數，所以線性回歸是深度學習的基本構件。 Logistic回歸 Logistic函數可以追溯到19世紀30年代，當時比利時統計學家P.F. Verhulst發明了該函數來描述人口動態。 隨著時間的推移，最初的爆炸性指數增長在消耗可用資源時趨于平緩，從而形成了Logistic曲線。
一個多世紀后，美國統計學家威爾遜（E. B. Wilson）和他的學生簡-伍斯特（Jane Worcester）設計了邏輯回歸算法，以計算出多少給定的危險物質會致命。 Logistic回歸將logistic函數擬合到數據集上，以預測在某一事件（例如，攝入馬錢子）發生特定結果（例如，過早死亡）的概率。
1、訓練時水平地調整曲線的中心位置，垂直地調整其中間位置，以使函數的輸出和數據之間的誤差最小。 2、將中心向右或向左調整意味著需要更多或更少的毒藥來殺死普通人。陡峭的坡度意味著確定性：在中間點之前，大多數人都能活下來；超過中間點，那就說得再見了。一個平緩的斜率更寬容：低于曲線的中間點，超過一半的人可以存活；更遠的地方，不到一半。 3、設置一個閾值，比如說0.5，曲線就成了一個分類器。只要把劑量輸入模型，你就會知道你應該計劃一個聚會還是一個葬禮。 Verhulst的工作發現了二元結果的概率，后來英國統計學家David Cox和荷蘭統計學家Henri Theil在20世紀60年代末獨立工作，將邏輯回歸法用于有兩個以上類別的情況。 Logistic函數可以描述多種多樣的現象，并具有相當的準確性，因此Logistic回歸在許多情況下提供了可用的基線預測。 在醫學上，它可以估計死亡率和疾病的風險；在政治中，它可以預測選舉的贏家和輸家；在經濟學中，它可以預測商業前景。 在神經網絡中，有一部分神經元為Logistic回歸，其中非線性函數為sigmoid。 梯度下降 想象一下，在黃昏過后的山區徒步旅行，你會發現除了你的腳以外看不到什么。而你的手機沒電了，所以你無法使用GPS應用程序來尋找回家的路。 你可能會發現梯度下降的方向是最快路徑，只是要小心不要走下懸崖。 1847年，法國數學家Augustin-Louis Cauchy發明了近似恒星軌道的算法。60年后，他的同胞雅克-哈達瑪德（Jacques Hadamard）獨立開發了這一算法，用來描述薄而靈活的物體的變形。 不過，在機器學習中，它最常見的用途是找到學習算法損失函數的最低點。 神經網絡通常是一個函數，給定一個輸入，計算出一個期望的輸出。 訓練網絡的一種方法是，通過反復計算實際輸出和期望輸出之間的差異，然后改變網絡的參數值來縮小該差異，從而使損失最小化，或其輸出中的誤差最小。 梯度下降縮小了誤差，使計算損失的函數最小化。 網絡的參數值相當于景觀上的一個位置，而損失是當前的高度。隨著你的下降，你提高了網絡的能力，以計算出接近所需的輸出。 不過可見性是有限的，因為在監督學習下，算法完全依賴于網絡的參數值和梯度，也就是當前損失函數的斜率。
使用梯度下降，你也有可能被困在一個由多個山谷（局部最小值）、山峰（局部最大值）、馬鞍（馬鞍點）和高原組成的非凸形景觀中。事實上，像圖像識別、文本生成和語音識別這樣的任務都是非凸的，而且已經出現了許多梯度下降的變體來處理這種情況。 K-means聚類 如果你在派對上與其他人站得很近，那么你們之間很可能有一些共同點。 K-means的聚類就是基于這種先驗想法，將數據點分為多個group，無論這些group是通過人類機構還是其他力量形成的，這種算法都會找到它們之間的關聯。
美國物理學家斯圖爾特-勞埃德（Stuart Lloyd）是貝爾實驗室標志性創新工廠和發明原子彈的曼哈頓項目的校友，他在1957年首次提出了k-means聚類，以分配數字信號中的信息，不過他直到1982年才發表。 與此同時，美國統計學家愛德華-福吉（Edward Forgy）在1965年描述了一種類似的方法——勞埃德-福吉算法。 K-means聚類首先會尋找group的中心，然后將數據點分配到志同道合的group內。考慮到數據量在空間里的位置和要組成的小組數量，k-means聚類可以將與會者分成規模大致相同的小組，每個小組都聚集在一個中心點或中心點周圍。 在訓練過程中，算法最初需要隨機選擇k個人來指定k個中心點，其中k必須手動選擇，而且找到一個最佳的k值并不容易。 然后通過將每個人與最接近的中心點聯系起來形成k個聚類簇。 對于每個聚類簇，它計算所有被分配到該組的人的平均位置，并將平均位置指定為新的中心點。每個新的中心點可能都不是由一個具體的人占據的。 在計算出新的中心點后，算法將所有人重新分配到離他們最近的中心點。然后計算新的中心點，調整集群，以此類推，直到中心點（以及它們周圍的群體）不再移動。 將新人分配到正確的群組很容易，讓他們在房間里找到自己的位置，然后尋找最近的中心點。 K-means算法的原始形式仍然在多個領域很有用，特別是因為作為一種無監督的算法，它不需要收集潛在的昂貴的標記數據，它的運行速度也越來越快。 例如，包括scikit-learn在內的機器學習庫都得益于2002年增加的kd-trees，它能極快地分割高維數據。 參考資料： https://read.deeplearning.ai/the-batch/issue-146/ |
