|
來源：極客公園 要談元宇宙，英偉達是避不開的。 不管是更真實呈現虛擬世界所需要的光追技術，還是元宇宙所需要的人工智能以及大算力，英偉達都提供了一系列的技術和平臺支持。而在今年的英偉達 GTC 2022 大會上，除了 RTX 40 系列顯卡之外，最引人矚目的，就是旗下一系列元宇宙相關的產品和技術的更新了。 在去年正式發布「工程師的元宇宙」NVIDIA Omniverse（以下簡稱 Omniverse）之后，英偉達這次推出了 Omniverse Cloud 云服務，創始人黃仁勛曾表示：「通過云端的 Omniverse，我們可以連接世界各地的團隊，共同設計、構建和運行虛擬世界和數字孿生。」 對于英偉達來說，Omniverse 還是將他們擅長的計算機圖形、人工智能，以及科技計算和物理模擬真正大一統的平臺，他們對于元宇宙的所有暢想和規劃，都可以在 Omniverse 中略見一斑。 在今年 5 月的 Rebuild 大會上，我們邀請了 NVIDIA 中國區 Omniverse Lead 何展，暢聊了他們對于 Omniverse 這個「工程師元宇宙」的思考。而這次，配合著更高算力的 GPU、自動駕駛芯片雷神 Thor，還有 Omniverse Cloud 的發布，英偉達對于元宇宙的思考又有了什么新變化？他們心目中的「工程師元宇宙」的目標有了新調整嗎？ 9 月 29 日，在極客公園的 Rebuild 2022，Founder Park 的主播王式和 NVIDIA 中國區高級技術市場經理施澄秋，一起聊聊英偉達在元宇宙的新思考。 01 元宇宙之外，GTC 大會的新亮點 Founder Park：今年新推出的雷神 Thor 芯片直接將算力拉到了 2000T，并且直接取代了計劃于 2024 年量產的 Atlan 芯片，而不是作為后續的升級版，是出于什么樣的考慮? 施澄秋：自動駕駛車輛有兩個關鍵點。 第一點，車輛上采集器的數據來源非常多，激光雷達、雷達、攝像頭等。這些采樣得到的數據不是單一的，而是多樣性的，高精的地圖、環境；車內外的一些互動，比如突然穿過的行人、道路上的路標；甚至包括車內人員的談話、口型、面部表情，因為有人機互動，可能都會有一些捕捉。要把這些數據來源全部匯總起來，意味著這個車規級的計算機每秒鐘運算的數據量是非常巨大的。 第二點，數據一定要有冗余性。車輛行駛的安全性是至關重要的，車上裝一個攝像頭足以捕捉前方的數據，再加上雷達和激光雷達可以達到不同層級的冗余性；確保當有某一個設備出現意外或受阻，比如攝像頭被其他車輛或者樹葉擋住的時候，其他設備還能夠實時地提供一個安全的數據冗余。 冗余性和多樣性造就了自動駕駛的車規級電腦實時處理的海量運算，這也是今后日益發展的自動駕駛車輛所提出的算力需求。我們的產品可能要豐富到一個極高的算力高度，才能夠完成對于這樣的復雜預算環境的挑戰，所以我們推出了一個更高級的產品雷神 Thor，基于今年最新的 Ada Lovelace 構架，除了第三代光線追蹤以外，還加入了人工智能和神經學圖形學的配合。 Founder Park：雷神 Thor 背后其實是基于 Ada Lovelace 架構，這個新架構核心創新點以及要去聚焦解決的問題是什么？ 施澄秋：Ada Lovelace 這個架構可能衍生到各個方面，可以說它是圖形學和圖形圖像處理的一個巔峰之作。比如游戲玩家心心念念的 RTX 40 系列的產品，以及我們的數據中心馬上要使用的 RTX 6000 Ada 架構，還有 L40 等系列產品都是基于 Ada Lovelace 架構來設計的。 Ada Lovelace 架構加入了最新的第三代光線追蹤核心，在做圖形開發專業級渲染或打游戲時，都擁有了實時光線追蹤的能力，而且每一秒鐘可能達到電影的 24 幀；另外還加入了人工智能的 TensorFlow 張量運算，可以用 FP8 低精度去做非常快速的圖形圖像預測，這個部分就是神經圖形的概念；還加入了大量的新功能，甚至能夠靠人工智能 AI 自動加一個完整的幀出來。 Founder Park：智能汽車的算力應該往集中化的方向走還是分布式算力？英偉達是如何布局的？ 施澄秋：對現在的車用市場而言，駕駛座艙的儀表、行車電腦、自動駕駛系統、娛樂系統，還有 HUD 的顯示器等可能都是由不同的處理器處理的，甚至是多個不同的電腦或者操作系統去處理的。很長時間內都是這樣的模式運作的，有兩個原因。第一個是算力不夠，無法用一臺中央電腦處理繁多冗雜的任務；另外就是各家有各自的系統，沒有廠商想過推出一個平臺去集成車上所有的系統。 首先，英偉達的算力要做到足夠強大。其次，我們的平臺要能夠兼容這些操作系統的運算底層模式。如果能夠提供足夠的算力，把車上的系統集成化，對于生產、驗證、維修保養環節都是一個更好的方向，對用戶、車主也是更有利的。 Founder Park：這次還發布了 Grace Hopper 推薦系統，搜索推薦感覺都要沒什么增長了，Grace Hopper 為什么還要聚焦于「推薦系統」？ 施澄秋：GPU 作為 Deep Learning 的加速器，在推薦系統里的算法遠比 CPU 快。Grace Hopper 擁有 500 多 G 的內存，Grace CPU 核心和 Hopper GPU 核心是通過 NVLink 高帶寬連接技術連接的，大內存可以隨時被 Hopper GPU 訪問，意味著這套系統的能力遠比一個單 GPU 所擁有的運算能力和加速器能力要強大得多，因為它有 ARM 架構可以處理很多單線程的非常高速的任務，這些任務可能并不適合在多線程的 GPU 上運行；它們之間的緩存機制、內存調用機制、顯存調用機制都是在 NVLink 的指導下完成的。 短視頻平臺的 UGC（用戶生成內容）會儲存在互聯網服務商的服務器里，這些內容需要一個神經網絡經過算法將其標簽化。無論是從運算模式、軟件框架，還是使用上的調度便利性和數據規模來說，Grace Hopper 都是數據中心最合適使用的一款產品。我們覺得今后的數據中心必然是往后迭代的，人工智能深入學習這套算法在過去的十年里面發展得非常快，以后可能會有各式各樣的新算法，而硬件一定要在軟件之前準備好；當提出一個軟件的構想，能夠提供一個匹配的算力去驗證這個軟件的構想。 另外就是，現在的搜索或者推薦系統，不僅僅是字符或者文本內容的搜索，要處理語音、視頻等復雜的內容，其中的自然語言處理也是很復雜的事情，這些都需要深度神經網絡處理，需要 AI 和大算力。 Founder Park：NVIDIA 目前做的方向，似乎越來越接近 AI 的應用層面了，比如醫療圖像處理 AI 框架 Monai，還比如 Tokkio，未來你們會直接提供 AI 應用嗎？ 施澄秋：這些其實都是進行演示的 demo，演示的是英偉達現有的軟件框架和硬件設備所能夠達到的效果以及能夠提供的服務，用戶可以根據自身需求做深度的二次開發。比如醫療影像學的輔助診斷，可以提示這張 CT 某個位置可能有一些問題，提示醫生額外注重某些位置；而這并不是英偉達最后的應用。醫規級的設備是非常嚴格的，英偉達必定是要跟客戶共同開發，做出一個符合當地法律又滿足醫管局要求的醫療設備；這就足以證明了英偉達不會直接提供應用。 英偉達首先要保證的是做好硬件的算力與功能，做好之后再做一個軟件開發工具包和中間的一些運行框架等，疊上層層軟件棧，最終讓用戶獲得一個開箱就可以使用的開發環境；英偉達營造的是開箱即有的開發環境，而不是開箱就有的實用案例。人工智能不是一個消費形式，它必定要建立在整個行業內共建的復雜的生態系統之上，所以英偉達不會直接推出 AI 應用的產品，我們做的是在平臺上提供一個全軟件堆棧的服務層。 02 Omniverse 致力于搭建一個平等的元宇宙 Founder Park：在產品上，為什么要做 Omniverse Nucleus 以及 Omniverse Cloud，它們和一般的數據庫和云有什么區別？ 施澄秋：數據庫的描述并不準確，我們做的叫 MDL（Material Description Language），材質描述語言，它能描述物體的粗糙程度、重力、光線反射程度等；可以把它想成一個包羅萬象的元宇宙里所有物體的大型數據庫。在相當長的一段時間內，我們都在耕耘 MDL，用戶也可以自由地添加材質；中國有一些特有的材質，我們有很多合作伙伴在幫忙做這些材質；把 MDL 放到 Omniverse 讓元宇宙的建設者、參與者能夠自由地調配和使用這些元宇宙的材質是很重要的。 元宇宙必須提供一個統一的源源不斷的隨叫隨到的算力，實現「在元宇宙里大家都是平等的」的概念；英偉達 Omniverse Cloud 希望元宇宙的建設者都可以到云上參與設計 Nucleus 元宇宙的生態環境，算力不應該成為阻礙，通過云端的 GPU 算力來保障用戶能夠參與到元宇宙的設計、建設、驗證、訓練、部署等等的各式各樣的環境里。Omniverse Cloud 通過 Nucleus 存儲 MDL 的材質，數據資產能夠保有數據建模和一整套工作的流程，再通過我們的 OmniverseConnector 連接到幾百款第三方合作伙伴的生態系統，去打造整個元宇宙的數字資產，這是我們的一個設計初衷。 Founder Park：注意到 Omniverse 試圖把以往計算機的 AI、數據處理等統一化，變成一款產品，這是不是也是 Omniverse 未來的產品方向？ 施澄秋：是這樣的，在 Omniverse 中會有很多不同的需求，比如有人要做復雜的 AI 的訓練，機器人或者自動駕駛的訓練，首先是需要的算力比較高，然后就是 Omniverse 里的環境也需要 1:1 的數字孿生，比如還原街道和城市，需要讓車輛經歷春夏秋冬、陰晴雨雪等各種天氣，這樣車輛在訓練的時候才能達到硬件的閉環，它會以為是在真實的世界訓練。另外對于環境來說，也要對車子的碰撞產生和現實世界一樣的反饋，撞到墻、電線桿、動物和人的反饋是不一樣的。 這些都需要仿真，也需要人工智能、光線追蹤、圖形學計算以及深度神經網絡，甚至還有語言模型，因為還牽扯到人機互動，這些元素自然地就融入在一個系統中了。事實上，當所有的元素都集中在一起的時候，我們認為它就是元宇宙了。 Founder Park：這次還發布了一些硬件系統，比如 NVIDIA OVX，背后的思考是什么？ 施澄秋：OV 是 Omniverse 的縮寫；X 是英偉達常用的一個結尾，代表了兩件事，一個是極致 Extreme，一個是加速 Acceleration；OVX 是專為元宇宙做加速的加速器。 我們的 OVX 很強大，里面有 8 張顯卡，以及很先進的網絡 CPU 存儲，這次新發布的 OVX 采用了 Ada Lovelace 架構的 L40 圖卡，這些先進的設備組合成 OVX 能夠為元宇宙提供算力支撐；多個 OVX 組成的 OVX SuperPOD 為 Omniverse 計算系統集群提供了基礎硬件的支撐。 OVX 很快就會上市，不過可以認為這是我們的公版設計，我們的合作伙伴會提供經過 NV 認證的 OVX 系統，為用戶提供演示——我們的 OVX 可以用系統堆疊出的集群去支撐元宇宙的算力。 Founder Park：目前 Omniverse 有哪些應用擴展？ 施澄秋：Omniverse 的擴展很豐富。比如設計師可以做在線協同工作，英偉達在這次 GDC 大會發布的技術演示就是由不同國家的工程師用 Omniverse 在線上分工協作完成的；在這個過程中，每個人負責的部分和使用的應用都不同，Omniverse 就是要做分工的 3D 世界的協同、構造、創建、查看等這些方面的應用。 比如構建元宇宙時，不可能把地球上的事物一一畫出來，可以用 AI 去生成，Omniverse Replicator 可以把攝像頭照到的生成出 3D 建模，而這些 3D 建模可以即時導入到元宇宙中，這就叫合成數據，是具有物理真值并符合自然界的物理規律的。 Omniverse 能夠讓所有元宇宙的創造者、使用者能夠更好地管理并運行這個模擬世界，能夠讓整個團隊都能在 Omniverse 進行共同地設計、編程、優化、部署、訓練基于人工智能的深度神經網絡的一系列的應用和服務。比如自動駕駛車輛、機械手臂、服務機器人的訓練等等，都可以直接在元宇宙里進行。 Founder Park：前不久，你們推出了 Omniverse ACE，英偉達對于未來虛擬人的理解是怎樣的？ 施澄秋：英偉達在云端云原生的開發工具叫 ACE（Avatar Cloud Engine），就是虛擬形象的云端引擎。我們對虛擬人的標準定位很高，虛擬人要做得真實，要符合自然界的定律，要物理準確，需要光線追蹤，毛發、皮膚、表情、嘴型都要跟這個人匹配；能夠以假亂真，是虛擬人能夠達到的高度。 在這個基礎上，還要配合一系列光線追蹤、人工智能、物理模擬等，Omniverse 里有一款產品 Audio2Face，輸入一段話，可以自動地把這段話投射到 CG 角色的臉部上，并且可以根據前后文理解這段話，自動地認知到喜怒哀樂，并相應地投射出豐富的面部表情。 Omniverse 還有一個小組件 Machinima，用機器學習的方式制造電影場景。通過單個普通的民用攝像頭捕捉的動作，可以實時地把人的骨骼、關節、肢體語言、每一個身體動作都 1:1 仿真到虛擬人上。 03 英偉達立足于元宇宙的基礎服務商 Founder Park：NVIDIA 是怎么定義元宇宙的？ 施澄秋：從 Web1.0 到 Web2.0 再到如今的 Web3，首先是移動互聯網的出現，然后就是大家都隨時隨地永遠在線，在 Web3 的元宇宙里，也應該是永遠在線的狀態。 英偉達定義的元宇宙是用 USD（Universal Scene Description，一種用于描述虛擬世界的可擴展通用語言） 的方式把所有的數字資產串連起來。地球上的所有事物可能都會進入元宇宙，用現有的第三方 ISV 軟件去描述這些數字資產，用 USD 作為橋梁，把各種格式的數字資產通過 Omniverse Connector 連接起來，成為實時的 3D 互聯網。 以前的人絕對想不到互聯網會成為生活的重要組成部分，元宇宙最后會變成什么樣也是無法預測的，英偉達作為全軟件堆棧服務的提供商，能做好的是硬件的算力、軟件交換能力、軟件的 SDK 等一系列框架，做好基礎服務商，幫助用戶共同構建元宇宙。 Founder Park：為什么英偉達做的虛擬世界，追求和真實世界的相似度？甚至老黃還表示：要把「粒子物理定律、引力定律、電磁定律.... 壓力和聲音」都應用到元宇宙中。 施澄秋：元宇宙的初期肯定是用戶先感受、探索的過程，但如果元宇宙跟真實世界毫無交集，那元宇宙最后就變成一個科幻世界了。早期的科幻可以說是對未來世界的一種展望，現在的元宇宙也可能是未來某個時間點現實社會的一種表達；如果能夠把元宇宙里的內容拿到現實社會去驗證，會對科技發展起到推波助瀾的作用。比如美國的零售店把元宇宙里對門店的規劃通過增強現實的方式投射到門店陳列的物品上，馬上就能得到反饋，如何陳列展示會更加合理、增加用戶的購買欲；這就是元宇宙跟現實的交互。 在元宇宙里可以驗證、訓練、設想、實踐各種各樣的猜想，部署天馬行空的創意，最后它能夠在某一個時間節點上連接到物理世界；英偉達的 GPU 加速器是為了加速人工智能的發展，希望通過我們的硬件、軟件一系列的堆棧和環境的構建，幫助各種各樣的運算環境都能達到加速，因為我們相信元宇宙終有一天會落實到現實世界中。虛擬世界最終還是要和現實世界做耦合，虛擬世界的價值應該回到現實世界完成閉環。 Founder Park：最近 AIGC（AI 生成內容）很熱，英偉達在這個領域，看中什么？ 施澄秋：從早期的服務商提供內容，到由用戶提供內容，今后由 AI 自主生成提供的內容，這是三步進化的必然過程。未來的元宇宙內容的豐富還是要依靠 AI 生成的內容。 現在通過 GauGAN 畫幾筆就能幫用戶生成一幅藝術大師級別的美術畫作，這就是基于生成式對抗網絡的 AIGC 的內容。在今年的圖形學大會 SIGGRAPH 上，英偉達的一篇關于 AI 生成的論文就獲得了最佳論文獎，論文的核心就是將一張靜態的 3D 圖片逆向渲染成動態 3D 建模。 英偉達這次發布的 40 系列顯卡有一個最重要的功能 DLSS3，就是第三版的 Deep Learning Super Sampling 深度學習超采樣技術。它可以完整生成一幅畫面——一幀 4K 相當于四幀 1080P 的畫面，我們只有 1/8 的運算量，每兩幀 4K 的畫面只有一幀 1080P 的真實渲染運算量，剩下的 7/8 全部是由 Ada Lovelace 架構里的 Tensor Core 用人工智能的方式算出來的。 基于 DLSS3，各種技術演示都可以獲得幾何級的幀率提升，這就是 AIGC 基于 Ada 架構里 Tensor Core 完成的人工智能產生的內容。AIGC 是非常前沿的技術，也是英偉達長時間以來堅持圖形學，乃至利用 AIGC 變成現在所謂的神經圖形學、神經圖形的運算方式。 Founder Park：游戲的世界其實是有限規則的世界，但是元宇宙應該是實時生成的世界，英偉達是如何應對這個挑戰的？ 施澄秋：用游戲舉例，90 年代的游戲 NPC 比較簡單，只有固定的一些套路，知道之后就顯得索然無味了；現在做游戲設計時，NPC 可以用人工智能的方式去驅動，學習人類操作的模式、軌跡，不斷地進化 NPC 的運行邏輯和模式，為游戲帶來了更高的挑戰和更多的趣味性。 用深度神經網絡，NPC 不僅可以學習人類的模式，還能夠自主學習；要學得快、學得好，對于深度神經網絡和人工智能的要求是非常高的，需要強大的算力和后臺支撐平臺。英偉達提供了 Omniverse Cloud 并提出了 GDN（Graphic Delivery Network）的概念，當需要復雜的元宇宙代入感或互動感時，GDN 能夠自動識別離用戶最近的算力，用最好的 GPU 占比進行加速，極大地提升用戶體驗感。 Founder Park：NVIDIA 做了硬件+系統軟件+應用框架，為什么要全部都做？NVIDIA 要成為一家縱向一體化的公司嗎？ 施澄秋：我們其實沒有那么大的野心。首先英偉達是一家半導體公司，先設計半導體，然后交給合作伙伴去生產制造；其次我們的產品性能非常優秀，如果沒有把我們的產品使用到極致，那就是一種浪費了，并且我們擁有世界上最優秀的團隊成員，所以就提出要做軟件堆棧。 每一代數據中心的 GPU 到邊緣式運算的計算機 Jetson 我們都會用 CUDA 連接在一起，用戶的代碼、產品不需要移植，因為是統一架構的；在 A 設備上的代碼，到 B 設備上也可以跑，優化之后效率會更高。在 CUDA 架構上，可以堆疊各種針對不同垂直行業的 SDK。為了方便用戶和開發者使用，英偉達提供了一些開源的 container（容器）下載后可以立即使用。 英偉達的自身定位是一個全軟件、硬件堆棧的平臺提供商，從底層的驅動、架構到整個產品的開發語言，到開發組件、開發中間件、開發框架，到最后的一些參考設計等，只要注冊一個賬號就能夠使用這樣一個全方位的全軟件堆棧的平臺解決方案。這是英偉達對自己的定義，最終目的是把硬件做好，并且讓用戶更好、更方便、更優秀、更有效率地壓榨出我們硬件的性能。 Founder Park：英偉達應用涉及的領域包括醫療，自動駕駛，物理、化學研究，前沿的科研，你們會定義自己的能力圈在哪里，哪些層面你們是不碰的嗎？ 施澄秋：我們基本上不會定義自己的邊界，因為 GPU 是一個可以用來做通用運算的一個處理器，當然它在某些領域會更有效率，尤其是大規模變形運算；CPU 也有耕耘的項目。我們會看到市場上有需求的存在，就會研究如何去交付符合這個需求的產品；當某一個垂直的細分行業有需求的時候，我們就會有針對這個行業的 SDK 出現，比如像現在已經比較流行的自駕車、醫療、機器人等各類細分賽道。 只要市場有需求、用戶有需求，我們就會去布局。 |
