|
作者 | 黃顯東 隨著社會的發展，科技的進步，5G 落地、AI 爆發、大數據持續突破、云計算已然成為新時代的水電煤。日益增多的新興技術，為開發者帶來機遇的同時也帶來了不少挑戰。盡管開發者們經常身處歷史性事件的前沿，但由于很多技術學習門檻較高，且沒有相對完整的配套技術生態，開發者們其實很難時刻保持良好的學習曲線。 在簡化開發、降低技術門檻、提高研發效率等方面，華為每年投入大量的資金和人力，而小編將為大家介紹的這十大硬核技術，正是華為加速技術發展、構建產業生態的助燃劑。 在小編看來，作為開發者，了解學習到這 TOP 10 技術，不僅可以了解技術產業前沿趨勢，也是為未來職業生涯發展打基礎。因為技術隱藏在產品之后，看不見摸不著，開發者們也可以先行體驗華為承接的系列核心產品，感受強大技術背后的黑科技力量。 Top 1 達芬奇架構 毋庸置疑，AI 技術正成為各行業數字化轉型的發動機，大到智慧城市，小到 IoT 等，都少不了 AI 的身影。那么多的應用場景，如何才能實現 AI 在多平臺、多場景之間的協同？ 華為用達芬奇架構給出了答案。作為華為自研的面向 AI 計算特征的全新計算架構，達芬奇架構具備高算力、高能效、靈活可裁剪的特性。 具體說來，達芬奇架構采用 3D Cube 針對矩陣運算做加速，大幅提升了單位功耗下的 AI 算力，同時還集成了向量、標量、硬件加速器等多種計算單元，輔以最小的計算代價增加矩陣乘的算力，來提升 AI 計算的完備性和不同場景的 AI 能效。 而靈活可裁剪的特性則讓達芬奇架構能夠滿足端側、邊緣側及云端的應用場景，可用于小到幾十毫瓦，大到幾百瓦的訓練場景，解鎖 AI 的無限可能。 以華為昇騰芯片為例，昇騰系列芯片就采用了統一的、可擴展的達芬奇架構，是全球第一個覆蓋全場景的人工智能芯片系列，無論在低功耗的邊緣場景，還是大算力的數據中心場景，昇騰系列都將提供出色的性能和能效比。 此前，華為推出的目前業界單芯片計算密度最大的芯片昇騰 910 就可應用于自動駕駛、平安城市、智能制造、運營商、金融等應用場景。 不僅如此，華為還基于達芬奇架構提供了高性能的人工智能計算平臺 Atlas。通過 Atlas 200 DK AI 開發者套件，開發者可以在 30 分鐘內完成開發環境搭建，內置的圖形化編程環境，將極大地提升開發效率。并且，得益于昇騰芯片的全棧全場景能力，基于開發者套件開發的程序只需一次開發，即可實現端、邊、云全場景部署。 依托采用達芬奇架構的華為昇騰系列 AI 芯片提供的超強算力和全場景需求覆蓋，Atlas 已實現算力、邊界兩大突破。可以說，達芬奇架構滿足了人工智能領域對高算力和低功耗的需求，是專為人工智能算力需求而設計的芯片架構。 由此可以說，達芬奇架構是華為面向開發者的十大“嚇人技術”的當之無愧的 Top1。 Top 2 A-Tune 智能調優技術 對開發者來說，要想軟件獲得更好的體驗，手動調優是個必不可少的過程。不過現在計算機硬件結構越來越復雜，豐富多樣的應用對資源的需求也各不相同，這也導致調優過程異常復雜。 為了減少開發者在軟件調優上消耗的時間，華為 A-Tune 智能調優技術，可以在程序運行中實時感知應用的運行特征，使系統主動調整底層資源；還可以通過學習引擎對特征進行建模，根據業務負載去匹配最佳資源模型，通過負反饋持續優化。 簡而言之，A-Tune 技術相當于在現有系統上加裝了大腦，讓系統“懂”業務場景，給出最合適的資源模型，使得系統運行更加智能，達到應用性能加速的目的。 由于不必考慮硬件和系統的底層細節，即使是入門開發者，也能達到調優效果，高階開發者更可針對具體的業務場景進行定制，實現更細粒度的調優。通過將應用 & 系統性能做到最優，A-Tune 技術可以從總體上降低成本。比如，以前你可能需要購買 10 臺服務器才能完成的工作，現在可能需要 7-8 臺服務器就能實現。 目前，基于 A-Tune 技術構建的華為自研操作系統 openEuler，就體現出了高安全性、高可擴展性、高性能等優勢特點。首先，openEuler 能夠以加固策略、內核級 OS 安全能力、及多款安全漏掃工具等有效防止入侵，保障系統安全。 同時，openEuler 能夠向用戶提供服務保障體系，保證超長期的可靠性和穩定性。另外，openEuler 在編譯系統、虛擬存儲系統、CPU 調度、IO 驅動、網絡和文件系統等方面也做了大量的優化。作為高性能的操作系統平臺，openEuler 能夠滿足客戶從傳統 IT 基礎設施到云計算服務的各種需求。 如此友好的技術，排在 Top 2 也是當之無愧的吧。 Top 3 S2S 自動微分 第三個技術我們來說說自動微分。 資深的深度學習開發者應該都體會過手動求解的痛苦，不僅求導過程復雜，結果還很容易出錯，好在現在有深度學習框架，可以利用自動微分技術輕松解決這個復雜又關鍵的過程。 我們都知道，深度學習框架的自動微分根據實現原理的不同，分為以 Google 的 TensorFlow 為代表的圖方法，以 Facebook 的 PyTorch 為代表的運算符重載，以及以華為自研的 MindSpore 為代表的源碼轉化方法（Source To Source，S2S）。 前不久，華為剛發布了自研的全場景 AI 計算框架 MindSpore，而在 MindSpore 中的自動微分就采用了 S2S 形式。在性能和可編程性上，S2S 自動微分顯著優于業界圖和運算符重載方式，開發者無需重新學習一套新的表達邏輯（圖邏輯），用原生 Python 就能實現 AI 算法。 同時，S2S 自動微分能夠實現任意算子的微分表達和編譯優化，同時實現反向算子自動生成，極大地方便模型開發，為開發者的代碼帶來更佳性能。在軟件硬件協同方面，支持自動優化，無需像其他兩種方式需要手動定制。 此外，S2S 自動微分還有著豐富的調試手段。開發者可以使用可視化接口，方便觀察程序運行時的狀態，同時支持動態執行，幫助開發者在程序運行時進行代碼調試。 基于此項技術，華為 MindSpore 不僅可以支持端、邊、云獨立的和協同的統一訓練和推理，同時支持華為提出的全場景。通過這款完整的軟件堆棧，華為正在實現一次性算子開發、一致的開發和調試體驗，以此幫助開發者實現一次性開發，應用在所有設備端、邊緣及云端平滑遷移的能力。 值得一提的是，MindSpore 預計將在 2020 年 Q1 開源。 Top 4 分布式深度學習技術 通常，深度學習訓練過程涉及大規模參數的網絡間傳遞。TensorFlow 使用中心化的網絡參數服務器（Parameter Server）來承擔梯度的收集、平均和分發工作，對 server 節點的訪問會成為瓶頸，帶寬利用率低。 為了提高深度學習訓練效率，華為采用了 AllReduce 算法進行梯度聚合來優化帶寬，這樣可以同時利用多個工作節點，分布式地、高效地訓練出性能優良的神經網絡模型。 同時對傳輸的梯度進行融合，對小于閾值大小的梯度多次傳輸合并為一次，提升帶寬利用率；另外在通信底層采用 NVIDIA 的 NvLink、P2P 等技術來提升節點內和節點間通信帶寬，降低通信時延。 一般情況下，在衡量分布式深度學習的加速性能時，主要有吞吐量和收斂時間兩個重要指標。而對開發者而言，最關心的指標也是收斂時間。內置的分布式深度學習技術使得華為云 ModelArts 訓練速度有了很大的提升，同時以全棧優化極大地縮短了訓練收斂時間。2019 年 5 月在斯坦福大學 DAWNBench 榜單中，華為云 ModelArts 就以 2 分 43 秒的成績獲得圖像識別訓練世界第一。 Top 5 圖神經網絡 現實世界中，大量數據都能被圖建模，但當前的深度學習還是以 CNN、RNN 等技術（對應圖像識別、文本挖掘等領域）為主。然而，這些技術其實并不能有效地處理圖結構數據，尤其是涉及到基因網絡、社交網絡、商品推薦等復雜應用場景。 而圖神經網絡（GNN）則可以解決這個問題，它借鑒了深度學習中卷積網絡、循環網絡和深度自編碼器的思想，進行表征學習（如節點嵌入和子圖嵌入），或者利用標簽和屬性信息，以半監督或純無監督的方式在端到端學習框架中訓練。 圖數據的復雜性對現有機器學習算法提出了重大挑戰，因為圖數據是不規則的。每張圖大小不同、節點無序，一張圖中的每個節點都有不同數目的鄰近節點，使得一些在圖像中容易計算的重要運算（如卷積）不能再直接應用于圖。 為此，華為提供了更易用的圖神經網絡平臺。據了解，該平臺在反欺詐、營銷推薦、3D 視覺方面的商業潛力不可小覷。 作為華為云 ModelArts 的關鍵新特性之一，ModelArts 圖深度學習的核心就是圖神經網絡技術，這也使得華為云 ModelArts“視力”優良，同時在 ModelArts 的高效神經網絡訓練算子的基礎上，結合 GES 既有的高性能圖計算框架平臺能力，充分利用圖引擎高并發、低延時的特點，將 GNN 的訓練過程高度并行化；使用統一架構實現了非監督的大規模圖嵌入（例如 DeepWalk, Node2Vec）和半監督的圖卷積（例如 GCN, GraphSage）等多類 GNN 算法，降低了系統的維護成本，也降低了開發者使用 GNN 算法的門檻。 Top 6 輕量級的云化集成開發環境 有了平臺，有了算法，開發者還缺少什么呢？當然是開發環境，而且還是隨時隨地可以 Code 的環境，華為輕量級的云化集成開發環境（Cloud IDE）正是滿足開發者 Code anywhere anytime 的法門。 可以說，華為 Cloud IDE 服務定義了一種新的在線編程體驗。基于開源的華為自研內核，Cloud IDE 結合代碼編輯器的輕量極速、快速文件和目錄訪問操作和多語言高亮顯示等特性和 IDE 的代碼調試和代碼理解的能力。 開發者可以在任意聯網的瀏覽器中快速開始編碼、測試和調試等開發活動，體驗和本地 IDE 一樣擁有高性能和快速的表現。同時內核還集成了華為的代碼分析、檢查能力和 AI 輔助編碼能力。尤其 AI 輔助編碼把傳統 IDE 的智能聯想功能提升到了智能的新高度，通過機器學習算法訓練特定語言模型，用戶的代碼上下文作為模型輸入，模型給出預測結果作為輸出，讓開發者編碼效率和代碼質量能得到海量提升。 簡單地說，借助 Cloud IDE 服務，開發者可以隨時隨地進行編程，即便是身在國外度假，即便沒有帶工作電腦，只要有一個能訪問瀏覽器的終端，即可隨時隨地解決線上生產環境緊急故障，避免臨時取消休假回去救火的窘境發生。 毫不夸張地說，Cloud IDE 正在成為廣大開發者云端開發的秘密武器。基于此項技術，華為云 DevCloud 作為一站式云端 DevOps 平臺，能面向開發者提供更便捷的研發工具服務，讓軟件開發變得更加簡單高效。 Top 7 可視化全流程 AI 開發工程化技術 開發者都知道，在 AI 開發過程中，需經歷 AI 開發數據集準備、模型訓練、參數調整等一系列步驟，而當面臨調優迭代情況時，就很容易造成實驗過程難以追蹤、流程難以追溯等問題。 為了解決開發者從數據集管理到模型構建產生的諸多問題，全流程可視化就很有必要了。華為可視化全流程 AI 開發工程技術可實現對千萬級模型、數據集以及服務等對象的管理，無需人工干預，自動生成溯源圖，換句話來說，便是選擇任一模型，就能找到對應的數據集、參數、模型部署在哪里，你可以一目了然地將可視化訓練任務及結果進行比對。 作為搭載可視化全流程 AI 開發工程化技術的一站式 AI 開發平臺，華為云 ModelArts 提供 AI 開發全生命周期管理，從原始數據、標注數據、訓練作業、算法、模型、推理服務等，統統提供全流程可視化管理服務，大幅降低開發門檻、提升開發效率。 目前，華為云 ModelArts 已經適用于建筑、互聯網、醫療等諸多行業場景。例如, 在建筑業，ModelArts 能夠賦能質檢、巡查等場景, 如產品缺陷檢測、合規檢測、異常識別、安全穿戴等 ; 在互聯網行業，ModelArts 的智能數據標注技術及高性能大規模模型訓練, 大幅度提高模型開發效率、縮短模型開發周期 (從月到天)。 Top 8 多模分布式數據庫 隨著數字化轉型的深入，企業亟待解決的是數字化能力的提升。而企業如何提升數字化能力，或許就在于數據挖掘與數據處理的能力是否強勁。當大企業的數據存儲需求日益增長，單機數據庫無法滿足大企業的業務需求時，分布式數據庫便成了行業首選，為開發者提供以 100% 兼容開源接口、多模型一致運維，具備高性能、低成本、高可靠、高安全、易管理的特點。 華為云 Taurus 作為新一代企業級分布式數據庫，在解決海量存儲與極高并發性能場景上有著極具競爭力的技術優勢。而作為業界超強性能的分布式多模 NoSQL 數據庫，華為云 GeminiDB 則具備高性價比的優勢，為大型企業級業務保駕護航。 Top 9 智能化的軟件開發技術 經過幾十年的軟件開發，人們對軟件質量與效率需求正在不斷提升。高質量與高效率的開發要求之下，開發相關的數據（例如：代碼、文檔、檢視意見、測試用例、問題單等等）便顯得尤為重要。 如何才能獲得數據價值？工作重心便是通過利用機器學習技術對這些數據進行挖掘、清洗，并進一步將其與語法樹、數據流、控制流等基本分析技術，以及符號執行、抽象解釋等高級軟件分析技術，甚至是自然語言技術相結合，并且還能在這個過程中將其中包含的各種開發知識復用起來。這樣就不簡單了。 經過幾十年的軟件開發實踐，華為積累了與開發相關的大量數據，通過各種具體工具的支持，華為智能化的軟件開發技術可以幫助開發者降低開發過程中低價值、重復性的勞動，例如自動發現常見的編碼錯誤，對部分錯誤給出修復好代碼，自動對多人編碼過程產生的沖突進行消解，在某些場景下，甚至自動生成一些高價值的代碼，幫助定位運行錯誤等等。 基于此，華為云 DevCloud 可以讓開發團隊隨時隨地在云端進行項目管理、代碼托管、代碼檢查、編譯構建、測試、部署、發布等，大幅提升了個人和團隊的交付能力和效率，提升自動化運維質量，幫助軟件企業提高競爭力。 Top 10 LiteOS IoT Stack 技術 不得不說，物聯網的出現將以往人與物、物與物的連接方式重構。在 5G 浪潮的推動下，萬物互聯的世界將加速到來。但從目前的整體進程看，物聯網產業仍處于成長階段，技術突破、行業融合、規模應用等方面都還存在較大的發展空間。面對物聯網帶來的巨大發展機遇和挑戰，Huawei LiteOS IoT Stack 技術應運而生。 該技術遵循 BSD-3 開源許可協議，具備輕量級、低功耗、端云協同、即插即用、組件豐富、快速開發等關鍵能力，能夠基于物聯網領域業務特征打造領域性技術棧，為開發者提供“一站式”完整軟件平臺，有效降低開發者的開發成本和難度、縮短開發周期。 基于 Huawei LiteOS IoT Stack 技術，華為打造了 OceanConnect IoT 平臺。簡單來說，OceanConnect 是華為云核心網推出的以 IoT 聯接管理平臺為核心的 IoT 生態圈。基于統一的 IoT 聯接管理平臺，通過開放 API 和系列化 Agent，它能夠實現與上下游產品能力的無縫聯接，為客戶提供端到端的高價值行業應用。目前，LiteOS IoT Stack 通過開放生態快速打造了行業標桿，在智慧消防、智慧水務、智慧物流、智慧園區等場景都已有成功實踐的案例。 結 語 AI、5G、云計算、大數據等技術都在快速發展，華為也一直未停下創新的步伐。在為千行百業打造技術底座這件事上，華為無疑是最用心的企業之一。現在，基于這 10 大嚇人技術，華為勢必能為開發者以及各行業構建出更強大、高效的技術產品與解決方案矩陣，為構建萬物互聯的智能世界持續賦能。 9 月 18-20 日，華為面向 ICT 產業的全球年度旗艦級大會——2019 華為全聯接大會（HUAWEI CONNECT 2019）將在上海世博中心開幕。9 月 20 日，更有以開發者為主角的 Keynote 演講及百場 Session，上述提到的華為面向開發者的“十大嚇人技術”，都可以在百場 Session 中找到，屆時也會有來自技術大咖們更全方位的解讀。 |
