近期,騰訊會議與聯(lián)發(fā)科技宣布達(dá)成戰(zhàn)略合作,聯(lián)合推出了基于天璣平臺的虛擬背景功能,創(chuàng)新將虛擬背景技術(shù)與強大的AI算力相結(jié)合,開創(chuàng)了移動端會議的新紀(jì)元。這一版本運行于天璣移動平臺的NPU,使得會議體驗不僅更加智能化和高效,同時在安全性上也有了顯著提升。此次軟硬件生態(tài)的聯(lián)合優(yōu)化,為用戶帶來了全新的會議方式,也為業(yè)內(nèi)AI應(yīng)用的進一步探索提供了寶貴的實踐案例。 在本次合作中,聯(lián)發(fā)科技的天璣移動平臺為虛擬背景功能提供了強大的AI性能底座。天璣移動平臺面向智能手機、平板電腦等移動設(shè)備,擁有高智能、高性能、高能效、低功耗卓越特性。最新發(fā)布的天璣9400集成聯(lián)發(fā)科技第八代 AI 處理器 NPU 890,提供遠(yuǎn)超以往的AI 性能和能效。此外,天璣9400 還支持時域張量(Temporal Tensor)硬件加速技術(shù)、端側(cè)高畫質(zhì)視頻生成技術(shù),強勁的端側(cè)Stable Diffusion性能,不僅能夠?qū)崿F(xiàn)高分辨率生圖,更支持端側(cè)動圖和視頻生成,實現(xiàn)更多創(chuàng)新玩法。 【聯(lián)發(fā)科技天璣9400移動平臺集成先進的AI 處理器 NPU 890】 騰訊會議的虛擬背景功能是一種基于人像分割技術(shù)的運用,在進行視頻會議時,騰訊會議將自動識別參會人,并將參會人周圍的環(huán)境替換為指定圖像或視頻 ,在對參會人員進行隱私保護的同時,也提升了會議趣味。虛擬背景功能還可以取代布展背景墻,可有效節(jié)約會議成本。 此次騰訊會議基于天璣移動平臺NPU上實現(xiàn)的AI人像分割技術(shù),采用了自建的多樣性數(shù)據(jù)集,涵蓋了豐富多樣的人物樣本和場景環(huán)境,以確保能夠在各種實際應(yīng)用場景中實現(xiàn)穩(wěn)定而精準(zhǔn)的人像分割。同時在模型設(shè)計上,騰訊會議追求輕量化和高計算性價比,采用先進的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),并結(jié)合注意力機制與重參數(shù)化等技術(shù),確保用戶無論使用何種設(shè)備,都能享受到流暢且準(zhǔn)確的人像分割體驗。 【騰訊會議APP端-虛擬背景設(shè)置】 此次雙方的深度合作,共同針對模型在GPU架構(gòu)和NPU架構(gòu)的運行能力進行了協(xié)同優(yōu)化,顯著提升了處理速度和能效表現(xiàn),為用戶提供了更加流暢和高效的體驗。 聯(lián)發(fā)科技不僅在芯片硬件層面提供了強大的NPU算力支持,還為騰訊會議提供了天璣AI開發(fā)套件NeuroPilot軟件工具和API。通過聯(lián)發(fā)科技的一站式軟件解決方案NeuroPilot,為騰訊會議提供了模型量化、轉(zhuǎn)換、編譯和集成的完整工具鏈(SDK/API/Document),使之可在天璣移動平臺上高效開發(fā)和部署基于神經(jīng)網(wǎng)絡(luò)的AI應(yīng)用程序,極大簡化了騰訊會議基于AI的應(yīng)用程序開發(fā)步驟。 為了讓模型網(wǎng)絡(luò)中更多計算運行在高性能的天璣移動平臺NPU,騰訊會議對自研模型中的自定義模塊進行調(diào)整和替換,以充分發(fā)揮天璣移動平臺NPU的AI性能。此外,雙方還共同設(shè)計模型最大并行度,以進一步提升AI應(yīng)用在天璣移動平臺NPU上的執(zhí)行效率。經(jīng)雙方聯(lián)合優(yōu)化,虛擬背景功能運行在天璣移動平臺NPU的版本相對CPU FP16模式版本性能提升可達(dá)3.5倍至4倍,耗時也縮短到6毫秒內(nèi)。同時,降低功耗還有助于減少手機發(fā)熱,為長時間會議提供更好的續(xù)航保障。 騰訊會議智能應(yīng)用研發(fā)中心負(fù)責(zé)人左小祥表示:長期以來,除了通過AI算法在軟件層優(yōu)化性能,騰訊會議與芯片設(shè)計廠商積極合作,探索在硬件層提升性能與優(yōu)化用戶體驗的更多可能。本次與聯(lián)發(fā)科技的合作,憑借天璣移動平臺強大的AI算力支持,將騰訊會議的AI人像分割模型遷移至天璣AI引擎上運行,AI算法運行更快的同時,還大幅降低算法的CPU占用,節(jié)省更多CPU資源。騰訊會議將持續(xù)發(fā)力AI技術(shù)應(yīng)用的前沿探索,并在軟硬件生態(tài)的更多合作中,為用戶打造更優(yōu)開會體驗,目前,騰訊會議已經(jīng)在天璣9400、天璣9300、天璣9200、天璣9000等多個平臺上線虛擬背景的端側(cè)NPU版本。歡迎廣大使用天璣移動平臺設(shè)備的用戶下載騰訊會議APP,體驗高效AI加持的開會模式。 聯(lián)發(fā)科技與騰訊會議的深度合作展示了軟硬件協(xié)同的巨大潛力,尤其是在移動端AI算力的應(yīng)用場景中取得了令人矚目的成果。雙方的合作不僅提升了用戶的實際體驗,也為未來更多功能的拓展和技術(shù)創(chuàng)新奠定了堅實的基礎(chǔ)。隨著合作的深入,聯(lián)發(fā)科技與騰訊會議將持續(xù)推動更智能的會議解決方案,在天璣平臺上為用戶帶來卓越的會議體驗。 |