|
智能體已經(jīng)能像人一樣刷視頻了?國內(nèi)知名大模型獨(dú)角獸級別公司，資深A(yù)I玩家聯(lián)匯科技退出了OmAgent智能體，已經(jīng)開啟試用。
當(dāng)你正在觀看一部緊張刺激的動作電影,忽然好奇: “那個角色到底是在哪一集說的那句話?” “這里的背景音樂是什么?” 又或者在一場足球比賽中,你錯過了那個決定性的進(jìn)球,卻又想再次回放。諸如此類的需求,如果僅憑人力尋找,無疑存在極大的工作量。 但是 AI 能夠?yàn)闄C(jī)器配置雙眼與大腦,讓它們能夠看懂視頻、理解劇情,對于普通人來說,這不僅是提高了搜索效率,更是擴(kuò)展我們與數(shù)字世界的互動方式。 英偉達(dá)最新發(fā)布的 NVIDIA AI Blueprint 希望幫助人們解決這一問題。這是一種預(yù)訓(xùn)練的、可自定義 AI 工作流,他為開發(fā)者構(gòu)建和部署用于典型用例的生成式 AI 應(yīng)用程序提供了一套完整的解決方案。 比如在英偉達(dá)提供的試用界面中,你可以選擇三個視頻片段中的一個進(jìn)行內(nèi)容問答。 在幾輪測試過后,我們發(fā)現(xiàn) Blueprint 對視頻問答還是有不錯的效果的。你可以提問某個事件發(fā)生的時間,也可以提問某個對象的狀態(tài)。 尤其令人遺憾的是,在試用過程中我們不斷遇到流量限制,無限驗(yàn)證等問題,試用體驗(yàn)可以說一言難盡。并且目前 Blueprint 仍然處于早期申請使用制階段,沒有辦法快速進(jìn)行使用。 Blueprint 之外,我們還有什么選擇? 經(jīng)過一番搜索和調(diào)研,我們在 Github 上發(fā)現(xiàn)了 OmAgent 這個項(xiàng)目,這是一個多模態(tài)智能體框架,提供了同樣強(qiáng)大的視頻問答功能。 項(xiàng)目地址:https://github.com/om-ai-lab/OmAgent OmAgent 是什么 OmAgent 是一個開源的智能體框架,支持簡單快速地面向設(shè)備進(jìn)行智能體系統(tǒng)的開發(fā),為智能手機(jī)、智能可穿戴設(shè)備、智能攝像頭乃至機(jī)器人等各類硬件設(shè)備賦能。OmAgent 為各種類型的設(shè)備創(chuàng)建了一個抽象概念,并大大簡化了將這些設(shè)備與最先進(jìn)的多模態(tài)基礎(chǔ)模型和智能體算法相結(jié)合的過程,使每個人都能基于設(shè)備建立最有趣的 AI 應(yīng)用。 OmAgent 的設(shè)計(jì)架構(gòu)遵循三個基本原則:
A: Q: Which direction did the forklift go? A:
A: 接下來我們進(jìn)行更復(fù)雜的測試,OmAgent 可以支持音頻信息以及超長視頻索引。我們選取了最近大火的劇集《雙城之戰(zhàn)》第二季第一集作為素材,基于其中的畫面和劇情進(jìn)行提問。 A:
A: Q: 視頻最后幾個議員在討論什么? A:
A: 可以看到,即使面對如此復(fù)雜的視頻素材,OmAgent 依然可以游刃有余。 如果想了解更多OmAgent智能體技術(shù)信息，可以通過聯(lián)匯科技官網(wǎng)聯(lián)系！ |
