国产毛片a精品毛-国产毛片黄片-国产毛片久久国产-国产毛片久久精品-青娱乐极品在线-青娱乐精品

邊緣AI時(shí)代已至,如何突破存儲(chǔ)瓶頸?

發(fā)布時(shí)間:2024-8-6 15:59    發(fā)布者:錄余
邊緣設(shè)備在導(dǎo)入生成式AI方面仍面臨著容量、帶寬、能耗和散熱等方面的瓶頸,這些因素深刻影響并制約著邊緣AI的發(fā)展。

AI智馭未來,2024邁入存儲(chǔ)元年

“AI 一天,人間一年”,一句市場(chǎng)流行語完美闡釋了如今AI大模型的高速發(fā)展和廣泛應(yīng)用。以人們?nèi)粘J褂玫闹悄苁謾C(jī)為例,眾多知名廠商在AI浪潮席卷之下,緊跟AI前沿趨勢(shì),紛紛推出搭載端側(cè)大模型或采用“端云協(xié)同”部署方案的AI手機(jī),促使手機(jī)的智慧化、智能化達(dá)到全新高度,根據(jù)市場(chǎng)調(diào)研機(jī)構(gòu) IDC預(yù)測(cè),2024年全球新一代AI手機(jī)出貨量將達(dá)到1.7億部,占智能手機(jī)總出貨量的15%,體現(xiàn)了AI手機(jī)在電子消費(fèi)市場(chǎng)的廣闊前景。

除手機(jī)領(lǐng)域外,AI在各類邊緣應(yīng)用落地的趨勢(shì)也愈發(fā)顯著。自ChatGPT橫空出世以來,短短一年多的時(shí)間,生成式AI已悄然滲透至電腦、智能家居乃至汽車等多個(gè)領(lǐng)域,與千行百業(yè)持續(xù)深入融合,迸發(fā)出前所未有的創(chuàng)新活力與應(yīng)用潛力。

[color=rgba(255, 255, 255, 0.5)]廣告



釋放邊緣AI潛力,“存力”成關(guān)鍵引擎

生成式AI,尤其是在處理大語言模型和高精度圖像生成任務(wù)時(shí),往往需要龐大的存儲(chǔ)和計(jì)算資源作為支撐。比如在圖像生成方面,創(chuàng)建高分辨率圖像往往伴隨密集的卷積運(yùn)算和反卷積運(yùn)算,而這些運(yùn)算需要高帶寬、高容量的內(nèi)存來支持?jǐn)?shù)據(jù)的快速傳輸。

因此,龐大的市場(chǎng)機(jī)遇與發(fā)展所帶來的挑戰(zhàn)總是緊密相依,邊緣設(shè)備在導(dǎo)入生成式AI方面仍面臨著容量、帶寬、能耗和散熱等方面的瓶頸,這些因素深刻影響并制約著邊緣AI的發(fā)展。

具體而言,邊緣設(shè)備導(dǎo)入生成式AI時(shí)通常會(huì)面臨以下瓶頸:

  • 存儲(chǔ)容量限制以LLamA2 7B大型語言模型為例,即便在優(yōu)化至INT8精度時(shí),也至少需要7GB的內(nèi)存容量來支撐其運(yùn)行,而在進(jìn)一步壓縮至INT4精度下,內(nèi)存需求仍高達(dá)3.5GB。這意味著多數(shù)現(xiàn)有的邊緣設(shè)備需要進(jìn)行內(nèi)存擴(kuò)容升級(jí),才能實(shí)現(xiàn)模型的本地高效運(yùn)算、顯著降低響應(yīng)延遲;
  • 數(shù)據(jù)傳輸帶寬不足當(dāng)前主流AI手機(jī)普遍采用LPDDR5內(nèi)存,其帶寬約為68GB/s。未來LPDDR6的帶寬雖有望達(dá)到150GB/s,但可能仍不足以滿足高端AI應(yīng)用的需求。而HBM雖性能卓越,卻因成本與功耗過高,難以在邊緣設(shè)備中普及應(yīng)用;
  • 能耗和散熱挑戰(zhàn)運(yùn)行復(fù)雜的生成式AI模型相較一般應(yīng)用會(huì)產(chǎn)生大量計(jì)算熱量。因此,邊緣設(shè)備需要設(shè)計(jì)有效的能源管理和散熱系統(tǒng),以確保設(shè)備運(yùn)行的良好性能和穩(wěn)定性。
CUBE:小號(hào)“HBM”,完美填補(bǔ)市場(chǎng)空缺

目前,AI技術(shù)的深度拓展應(yīng)用在很大程度上仍需要借助云端,這意味著用戶的每次請(qǐng)求指令均需穿越網(wǎng)絡(luò)抵達(dá)云端,才能進(jìn)行復(fù)雜的處理,隨后再將處理結(jié)果反饋至用戶,因此云端通常涉及傳輸延遲、數(shù)據(jù)隱私和效益成本方面的挑戰(zhàn),這大大限制了AI技術(shù)和應(yīng)用的普及廣度。

與云計(jì)算側(cè)重大規(guī)模數(shù)據(jù)處理不同,邊緣計(jì)算的數(shù)據(jù)處理發(fā)生在數(shù)據(jù)源或端點(diǎn)處,因此擁有實(shí)時(shí)處理、分析和決策的快速能力,可大幅降低傳輸延遲性,契合復(fù)雜多變的環(huán)境和任務(wù)處理。因此邊緣AI市場(chǎng)也催生了對(duì)中低容量、超高帶寬及低功耗內(nèi)存解決方案的需求,并且生成式AI的出現(xiàn)也讓存儲(chǔ)行業(yè)催生了新的發(fā)展機(jī)遇——定制化的存儲(chǔ)需求應(yīng)用而生,這主要基于兩大原因:

  • 市場(chǎng)缺乏兼具成本效益與高性能的方案目前的HBM3E帶寬可達(dá)1.2TB/s,但功耗過高;雖然LPDDR6帶寬未來有望超過150GB/s,但在這二者之間缺乏既能有效控制成本,又能滿足邊緣設(shè)備高性能需求的理想內(nèi)存解決方案;
  • 末級(jí)緩存Last Level Cache隨著半導(dǎo)體制程不斷向7nm以下推進(jìn),SRAM微縮效益不再明顯,并且AI運(yùn)算使其容量需求增加,高容量SRAM占據(jù)大面積進(jìn)一步導(dǎo)致成本快速升高。因此,市場(chǎng)上亟需能夠減少SRAM占用面積,降低整體成本的高效解決方案。

為滿足日益增長(zhǎng)的邊緣AI市場(chǎng)需求,助推其高效創(chuàng)新發(fā)展,華邦專門推出CUBE(半定制化超高帶寬元件)產(chǎn)品,大幅優(yōu)化內(nèi)存技術(shù),可實(shí)現(xiàn)在混合云與邊緣云應(yīng)用中運(yùn)行生成式 AI 的性能,為邊緣AI量身定制完美的內(nèi)存解決方案。與市面上現(xiàn)有方案相比,CUBE 的中小容量超高帶寬的特點(diǎn)極具差異化,適用于機(jī)器人、可穿戴設(shè)備、邊緣服務(wù)器等多種高級(jí)應(yīng)用。

CUBE在功耗、性能、尺寸設(shè)計(jì)以及帶寬等領(lǐng)域擁有卓越特性,全方位滿足邊緣AI的發(fā)展需求。在帶寬方面,CUBE能夠達(dá)到 256GB/s – 1TB/s,相當(dāng)于 HBM2或 4-32 個(gè) LPDDR4x 4266Mbps x16 IO;并且,CUBE的功耗低于 1pJ/bit,在提供超高帶寬的同時(shí)還可極大減少能源消耗。此外,通過創(chuàng)新性TSV 技術(shù)以及 uBump/ 混合鍵合,CUBE可降低功耗并節(jié)省 SoC 設(shè)計(jì)面積,從而實(shí)現(xiàn)高效且極具成本效益的解決方案。

整體而言,CUBE 憑借更高的帶寬、更高的能效、更快的響應(yīng)時(shí)間、可定制化特性以及緊湊外形,在釋放 AI應(yīng)用潛力方面發(fā)揮重要作用,能夠讓強(qiáng)大的 AI 從云落地至邊緣設(shè)備和混合云應(yīng)用中。

隨著生成式AI不斷向邊緣端演化,不同應(yīng)用場(chǎng)景下的邊緣端產(chǎn)品數(shù)據(jù)傳輸量攀升,并催生出對(duì)低功耗、高帶寬存儲(chǔ)產(chǎn)品的迫切需求,這一系列新趨勢(shì)為存儲(chǔ)市場(chǎng)開辟了廣闊的發(fā)展空間。作為深耕存儲(chǔ)行業(yè)的領(lǐng)導(dǎo)廠商之一,華邦秉持不懈創(chuàng)新、精益求精的發(fā)展理念,持續(xù)開發(fā)用于終端產(chǎn)品特定應(yīng)用的DDR4/LPDDR4,此外,華邦還致力于研發(fā)定制化超高帶寬內(nèi)存解決方案,攜手OSAT(半導(dǎo)體封裝測(cè)試)伙伴為邊緣設(shè)備SoC帶來理想的中小容量超高帶寬內(nèi)存,共同探索內(nèi)存技術(shù)的創(chuàng)新前沿,推動(dòng)邊緣AI實(shí)現(xiàn)更高效、更蓬勃的發(fā)展。



本文地址:http://m.qingdxww.cn/thread-867520-1-1.html     【打印本頁】

本站部分文章為轉(zhuǎn)載或網(wǎng)友發(fā)布,目的在于傳遞和分享信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé);文章版權(quán)歸原作者及原出處所有,如涉及作品內(nèi)容、版權(quán)和其它問題,我們將根據(jù)著作權(quán)人的要求,第一時(shí)間更正或刪除。
您需要登錄后才可以發(fā)表評(píng)論 登錄 | 立即注冊(cè)

廠商推薦

  • Microchip視頻專區(qū)
  • 利用SAM E54 Xplained Pro評(píng)估工具包演示CAN轉(zhuǎn)USB橋接器以及基于CAN的主機(jī)和自舉程序應(yīng)用程序
  • 使用SAM-IoT Wx v2開發(fā)板演示AWS IoT Core應(yīng)用程序
  • 使用Harmony3加速TCP/IP應(yīng)用的開發(fā)培訓(xùn)教程
  • 集成高級(jí)模擬外設(shè)的PIC18F-Q71家族介紹培訓(xùn)教程
  • 貿(mào)澤電子(Mouser)專區(qū)
關(guān)于我們  -  服務(wù)條款  -  使用指南  -  站點(diǎn)地圖  -  友情鏈接  -  聯(lián)系我們
電子工程網(wǎng) © 版權(quán)所有   京ICP備16069177號(hào) | 京公網(wǎng)安備11010502021702
快速回復(fù) 返回頂部 返回列表
主站蜘蛛池模板: 天天超逼| 亚洲系列在线 | 日韩资源 | 天使萌一区二区在线观看 | 国产精品亚欧美一区二区三区 | 天天视频免费入口 | 免费一级毛片不卡在线播放 | 91亚洲精品第一综合不卡播放 | 久久中文字幕网 | 亚洲一区 欧美 | 国产精品盗摄在线观看 | 亚洲免费视频网 | 91碰视频 | 天海翼精品久久中文字幕 | jizz老妇乱| 欧美一区二区三区成人看不卡 | 亚洲国产日韩a在线亚洲 | 黄色手机看片 | 成 人 黄 色 视频免费播放 | 国产老色批视频在线观看应用 | 黑人又大又粗又爽免费视频 | 亚洲天堂激情 | 日本在线观看www | 青青草青青操 | 国产极品在线观看视频 | 亚洲欧美日韩在线观看播放 | 日韩一级欧美一级在线观看 | 日本一区二区三区不卡在线视频 | 一区二区三区四区在线免费观看 | 91精品国产一区 | 国产在线原创剧情麻豆 | 久久曰视频 | 亚洲成人aa| 精品国产高清a毛片 | 国产精品国产精品国产专区不卡 | 亚洲精品乱码久久久久久蜜桃欧美 | 国产欧美日韩一区二区三区视频 | 欧美综合天天夜夜久久 | www.色日本 | 99热这里只有精品国产99 | 国产毛片精品 |