谷歌開發定制芯片,它可以提高機器學習算法的運算速度,這不是什么秘密。谷歌管這些處理器叫作Tensor Processing Units(簡稱TPU),2016年5月,谷歌在I/O開發者大會上首次展示了TPU,之后再也沒有提供更多細節,谷歌只是說它正在用TPU優化TensorFlow機器學習框架。今天,谷歌公布了更多內容。 根據谷歌自己制定的基準,TPU執行谷歌常規機器學習任務時,速度比標準GPU/CPU組合產品平均快了15倍至30倍。標準GPU/CPU組合產品將英特爾Haswell處理器與Nvidia K80 GPU安裝在一起。數據中心極為重視能耗,使用TPU后每瓦特性能(也就是TeraOps/Watt,每萬億次/瓦特)提高了30-80倍。請注意,谷歌提供的數據是在生產過程中使用機器學習模型時獲得的,并不是最初創建模型時的數據。 谷歌還表示,大多數架構師優化芯片是為了提高卷積神經網絡的性能,不過卷積神經網絡只占了數據中心負載的5%,大部分應用使用的是多層感知器神經網絡。 2006年,谷歌開始研究如何將GPU、FPGA、定制ASICS應用于數據中心。不過當時并沒有太多應用因為特殊硬件獲益,許多繁重的任務可以用數據中心多余的硬件完成。 到了2013年情況開始改變,當時谷歌認為DNN將會變得流行起來,數據中心的計算需求將會翻倍,如果用傳統CPU計算成本相當高。正因如此,谷歌啟動一個項目,用定制ASIC完成推算,采購現在GPU用于訓練。谷歌報告稱,與GPU相比,將成本效益提高10倍就是它的目標。 --新浪科技 |