|
作者：西部數(shù)據(jù)公司 企業(yè)級Device產(chǎn)品管理部副總裁Ulrich Hansen 各領域的業(yè)務都在將以AI為例的機器學習技術引入其流程中，以期為客戶帶來更好的產(chǎn)品，為股東創(chuàng)造更高的營收成果。然而，要有效部署AI，需要自定義的機器學習模型、大量的計算和數(shù)量不可預估的數(shù)據(jù)。處理PB級數(shù)據(jù)，無論這數(shù)據(jù)是來自于最小的物聯(lián)網(wǎng)設備還是世界上最大的城市，這一任務對設計于兆字節(jié)和毫秒的時代的存儲技術來說都將是一大挑戰(zhàn)。 為機器學習提供所有的數(shù)據(jù)，就需要為內(nèi)存速度存儲設計一項新的存儲接口技術：NVM Express (NVMe)。NVMe與SATA和SAS不同，它消除了磁盤為中心協(xié)議的延遲誘導水平，而使用更快的通用處理器連接技術和PCI Express (PCIe)來減少延遲，為每個設備提供大量的帶寬能力。對于PB級別的專注和微秒的處理使得NVMe非常適合機器學習。 數(shù)據(jù)是AI傳遞途徑 機器學習的關鍵是數(shù)據(jù)。生成有意義的結(jié)果需要處理大量數(shù)據(jù)，這就要求我們有經(jīng)過深思熟慮的數(shù)據(jù)工作流程。每個公司都有著不同的數(shù)據(jù)工作流程，以滿足其自身的業(yè)務需求，流程可大概分為以下階段：收集、準備、設計和訓練。這四個階段的數(shù)據(jù)工作流程輸出的通常是可以對邊緣或核心的新數(shù)據(jù)進行推斷的模型。由于需要大量的數(shù)據(jù)，因此所有階段都需要通過其對數(shù)據(jù)流的優(yōu)化，避免出現(xiàn)瓶頸。NVMe接口的設計就是為了滿足此要求，可以通過以下四種方式為AI的傳遞途徑提供幫助： • 更快捷、更經(jīng)濟實惠的數(shù)據(jù)收集 • 更快速的數(shù)據(jù)集準備周期 • 更短的模型設計周期轉(zhuǎn)變時間 • 更有硬件效率的模型訓練 NVMe用于更智能的數(shù)據(jù)收集 實現(xiàn)AI首先會面臨到的挑戰(zhàn)即是如何將原始數(shù)據(jù)收集到集中式數(shù)據(jù)存儲中。這些數(shù)據(jù)的種類幾乎是無限的：包括來自IOT設備的傳感器報告、網(wǎng)絡日志、制造質(zhì)量報告等。事實上，數(shù)據(jù)是由例如Apache Spark之類的工具或商業(yè)服務對該任務進行處理，然后在新的數(shù)據(jù)流中進行篩選，最后將非結(jié)構(gòu)化數(shù)據(jù)輸出到NoSQL數(shù)據(jù)庫集群中。NVMe在提高其反應速度的同時，還能減少占用這些服務器的物理空間。 傳統(tǒng)的非結(jié)構(gòu)化查詢語言（NoSQL＝Not Only SQL）集群由具有多個本地硬盤接口的服務器和SATA硬盤組成。硬盤確實為PB級的數(shù)據(jù)提供了經(jīng)濟實惠的存儲方法，但要實現(xiàn)更大的帶寬，需要通過幾十個SATA或SAS硬盤與服務器連接。此架構(gòu)明顯增加了單個服務器的大小，并且快速填充數(shù)據(jù)中心的機架，其中CPU服務器卻大多處于空閑的狀態(tài)。 單獨的NVMe接口即可為多種獨立的SATA或SAS接口提供所需的帶寬，且只需要一個附加卡或2.5寸硬盤。用更小的NVMe SSD替換單個NoSQL服務器的大硬盤陣列，可以縮小單個NoSQL節(jié)點并顯著減少整個機架的空間。 NVMe用于更智能數(shù)據(jù)準備 當今AI訓練的一個必要前提就是擁有TB級或PB級的數(shù)據(jù)。但通常該數(shù)據(jù)并不是隨時可用的格式。需要將數(shù)據(jù)轉(zhuǎn)化成更容易被AI傳遞途徑處理的格式，過濾掉異常值和虛假數(shù)據(jù)。對于部分不適合使用或不能合法使用的數(shù)據(jù)，例如受到保護的個人信息，也可能需要在這一階段將其過濾掉。 這種處理需求可能會超過一個存儲系統(tǒng)的可受范圍，如果該存儲系統(tǒng)不是為高吞吐量而設計的話。與NVMe基于PCIe高達6.4GB/s或更高的帶寬相比，SAS和SATA的每個接口的有限帶寬顯得相對緩慢。同時在這一準備階段，帶寬不是存儲系統(tǒng)的唯一要求：并行性也是一大關鍵因素。由于處理的數(shù)據(jù)量非常大，因此，在這一處理階段，并行操作存在于集群中的多個服務器，以及在單個服務器中多個核心上。NVMe支持高達64K的命令隊列和64K的命令，簡化了這些服務器內(nèi)的并行操作。 NVMe用于更智能的模型設計 在將數(shù)據(jù)清理、準備成統(tǒng)一且容易理解的格式后，數(shù)據(jù)科學家的工作才正要開始。由于每個問題都是不同的，因此很多時候，科學家需要迭代地開發(fā)出獨特的機器學習結(jié)構(gòu)。只有在多次試驗和失敗后，較小的數(shù)據(jù)子集才能成為候選的可訓練模型，發(fā)送到下一個處理階段。畢竟在所有科學工程項目在得到最終解決方案前，都會經(jīng)歷過許多錯誤，因此需要進行多次的嘗試。 在試錯的過程中，單個循環(huán)的速度會對最后的模型設計和產(chǎn)生的機器學習模型的質(zhì)量造成外部影響。而將設計測試的循環(huán)時間從10個小時縮短到8個小時，會使數(shù)據(jù)科學家的效率翻倍�？茖W家可以在早上設計和運行測試，獲得結(jié)果，并及時調(diào)整參數(shù)，而不是在早上開始工作，直到第二天才看到結(jié)果。以每天進行一個測試的效率來說，科學家在下午下班前就能開始另一項工作，每天能有兩個循環(huán)的效率。 就如之前的階段，NVMe帶寬和并行性發(fā)揮其作用，幫助提高數(shù)據(jù)科學家的效率。在科學家們的個人工作室，他們對模型進行沙盤推演的測試，利用NVMe的低延時性運行系統(tǒng)、測試數(shù)據(jù)集，并為分析和測試運行提供更快的暫存空間。 NVMe用于更智能的模型訓練 在數(shù)據(jù)工程師將數(shù)據(jù)格式化成為可用于機器學習的格式，同時數(shù)據(jù)科學家對學習模型的結(jié)構(gòu)進行設計后，網(wǎng)絡的實際訓練才正式開始。通過無數(shù)配備了加速器的機器將格式化后的數(shù)據(jù)提取出來，并用它來提煉模型的參數(shù)，直到將數(shù)據(jù)匯聚成一個模型，才可用于實際的推理應用。 基于GPU的早期加速技術很少受到I/O的限制，因此存儲性能往往不是我們關注的焦點。運行服務器的通用CPU有充足的時間處理I/O操作，并為GPU準備下一批數(shù)據(jù)。但這在現(xiàn)今早已不適用了，其擁有FPGA，甚至實現(xiàn)了ASIC硬件定制以進行模式訓練。 相比以前的技術，由于現(xiàn)代機器學習加速器可以更快地處理數(shù)量級的數(shù)據(jù)，運行服務器的通用CPU需要能有效地處理I/O數(shù)量級的模式。像SATA和SAS這樣的傳統(tǒng)I/O棧浪費了寶貴的CPU周期，將I/O請求轉(zhuǎn)換為上世紀設計的協(xié)議。這樣就增加了I/O請求的延遲，會直接影響加速器的使用。這些遺留I/O棧也增加了主機CPU的負載，限制了每個處理器上可運行的加速器的數(shù)量。 由于從一開始就將NVMe設計成為內(nèi)存速度存儲協(xié)議，因此其不會產(chǎn)生協(xié)議轉(zhuǎn)換的成本。這就減少了處理器的負載，有助于保證及時將數(shù)據(jù)反饋到下一代加速器中。目前正在研究的NVMe協(xié)議具有一個激動人心的擴展—控制器內(nèi)存緩沖（CMB），允許NVMe設備在不受主機干預的情況下，得以直接處理內(nèi)存轉(zhuǎn)換并進一步減少負載。 NVMe-用于更智能的AI 機器學習和AI是建立在數(shù)據(jù)之上。從最初的數(shù)據(jù)收集、將其處理為可用的格式、開發(fā)學習架構(gòu)、到最后訓練的模型都需要一個在PB級規(guī)模上有效的存儲接口，并且針對微秒級延遲進行優(yōu)化。NVMe作為一項提升內(nèi)存速度的存儲技術能為機器學習和其它應用提供所需的存儲接口。 關于作者： Ulrich Hansen，西部數(shù)據(jù)公司企業(yè)級Device產(chǎn)品管理部副總裁。他負責西部數(shù)據(jù)公司企業(yè)級SSD產(chǎn)品組合的產(chǎn)品策劃、生產(chǎn)線管理和技術市場，包括確保在新產(chǎn)品和技術成功引入公司和數(shù)據(jù)中心市場時，對公司下一代的SSD產(chǎn)品進行定義。同時他還負責市場機遇和新興產(chǎn)品的評估、新產(chǎn)品需求定義、將客戶和行業(yè)合作伙伴與西部數(shù)據(jù)的產(chǎn)品和技術戰(zhàn)略相結(jié)合。 Ulrich Hansen擁有超過20年的高科技領域經(jīng)驗，包括服務器、存儲、網(wǎng)絡和通訊系統(tǒng)。在HGST加入西部數(shù)據(jù)之前，Ulrich Hansen曾任Entorian Technologies市場部的高級總監(jiān)，并在A.T. Kearney和戴爾等管理咨詢公司和科技公司擔任產(chǎn)品開發(fā)、市場規(guī)劃和企業(yè)策略等高級職位。 Ulrich Hansen擁有德克薩斯大學奧斯汀分校企業(yè)管理碩士學位以及德國亞琛工業(yè)大學電氣工程的碩士學位。 |
