|
2月25日,上海人工智能實驗室聯合商湯科技、香港中文大學、上海交通大學共同發布通用視覺開源平臺OpenGVLab,面向學術界和產業界開放其超高效預訓練模型,和千萬級精標注、十萬級標簽量的公開數據集,為全球開發者提升各類下游視覺任務模型訓練提供重要支持。同時,OpenGVLab還同步開放了業內首個針對通用視覺模型的評測基準,便于開發者對不同通用視覺模型的性能進行橫向評估和持續調優。目前OpenGVLab開源平臺(https://opengvlab.shlab.org.cn)已正式上線,供各界研究人員訪問和使用,后續項目還將開通在線推理功能,供所有對人工智能視覺技術感興趣的社會人士自由體驗。 “開源是一項意義非凡的工作,人工智能技術的迅速發展離不開全球研究人員十余年來的開源共建”,上海人工智能實驗室負責人表示,“希望通過發布OpenGVLab開源平臺,幫助業界更好地探索和應用通用視覺AI技術,促進體系化解決AI發展中數據、泛化、認知和安全等諸多瓶頸問題,為推動人工智能學術、產業發展做出貢獻�！� 如今雖然人工智能技術快速發展,但很多AI模型還只能完成單一任務,比如識別單一物體,或識別風格較為統一的照片。如果要對多種類型、風格進行識別,則需要具備足夠的通用性和泛化能力。去年11月,上海人工智能實驗室聯合商湯科技、香港中文大學、上海交通大學發布的通用視覺技術體系“書生”,很好地解決了這一問題。如下圖所示,對于不同類型的圖片,它都能較為準確地識別出圖中的內容,包括圖畫。 通用視覺開源平臺OpenGVLab正是基于通用視覺技術體系“書生”(INTERN)打造的。依托“書生”在通用視覺技術上的強勁支撐,OpenGVLab將幫助開發者顯著降低通用視覺模型的開發門檻,用更低成本快速開發用于成百上千種視覺任務、視覺場景的算法模型,高效實現對長尾場景的覆蓋,推動AI技術的規�；瘧谩� 開放超高性能模型和千萬級精標注數據集,降低學界投入成本 OpenGVLab充分繼承了通用視覺技術體系“書生”的技術優勢,其開源的預訓練模型具備極高性能。相較于此前公認的最強開源模型(OpenAI 于2021年發布的CLIP),OpenGVLab的模型可全面覆蓋分類、目標檢測、語義分割、深度估計四大視覺核心任務,在準確率和數據使用效率上均取得大幅提升。 基于同樣的下游場景數據,開源模型在分類、目標檢測、語義分割及深度估計四大任務26個數據集上,平均錯誤率分別降低了40.2%、47.3%、34.8%和9.4%;同時,在分類、檢測、分割和深度估計中,僅用10%的下游訓練數據就超過了現有其他開源模型。使用此模型,研究人員可以大幅降低下游數據采集成本,用極低的數據量,即可快速滿足多場景、多任務的AI模型訓練。 同時,OpenGVLab還提供多種不同參數量、不同計算量的預訓練模型,以滿足不同場景的應用需求。模型庫中列出的多個模型,在ImageNet的微調結果和推理資源、速度等方面,相比之前的公開模型均有不同程度的性能提升。 除了預訓練模型,以百億數據總量為基礎,上海人工智能實驗室構建了超大量級的精標注數據集,近期將進行數據開源工作。超大量級的精標注數據集不僅整合了現有的開源數據集,還通過大規模數據圖像標注任務,實現了對圖像分類、目標檢測以及圖像分割等任務的覆蓋,數據總量級近七千萬。開源范圍涵蓋千萬級精標注數據集和十萬級標簽體系。目前,圖像分類任務數據集已率先開源,后續還將開源目標檢測任務等更多數據集。 此外,此次開源的超大標簽體系不僅幾乎覆蓋了所有現有開源數據集,還在此基礎上擴充了大量細粒度標簽,涵蓋各類圖像中的屬性、狀態等,極大豐富了圖像任務的應用場景,顯著降低下游數據的采集成本。研究人員還可以通過自動化工具添加更多標簽,對數據標簽體系進行持續擴展和延伸,不斷提高標簽體系的細粒度,共同促進開源生態繁榮發展。 發布首個通用視覺評測基準,推動通用視覺模型評測標準統一 伴隨OpenGVLab的發布,上海人工智能實驗室還開放了業內首個針對通用視覺模型的評測基準,彌補通用視覺模型評測領域的空白。當前,行業中已有的評測基準主要針對單一任務、單一視覺維度設計,無法反映通用視覺模型的整體性能,難以用于橫向比較。全新的通用視覺評測基準憑借在任務、數據等層面的創新設計,可以提供權威的評測結果,推動統一標準上的公平和準確評測,加快通用視覺模型的產業化應用步伐。 在任務設計上,全新開放的通用視覺評測基準創新地引入了多任務評測體系,可以從分類、目標檢測、語義分割、深度估計、行為識別5類任務方向,對模型的通用性能進行整體評估。不僅如此,該評測基準新加了僅用測試數據集10%數據量的評測設定,可以有效評估通用模型在真實數據分布下的小樣本學習能力。在測試后,評測基準還會根據模型的評測結果給出相應的總分,方便使用者對不同的模型進行橫向評測。 隨著人工智能與產業融合的不斷深入,行業對人工智能的需求逐漸從單一任務向復雜的多任務協同發展,亟需構建開源、開放的體系,以滿足趨于碎片化和長尾化的海量應用需求。 去年7月,上海人工智能實驗室發布開源平臺體系OpenXLab,涵蓋新一代OpenMMLab和決策AI平臺OpenDILab。此次與商湯科技及高校聯合發布通用視覺開源平臺OpenGVLab,不僅能幫助開發者降低通用視覺模型的開發門檻,為推動通用視覺技術發展奠定基礎,也進一步完善了OpenXLab開源體系,促進人工智能的基礎研究和生態構建。 附: 1. 技術報告《INTERN: A New Learning Paradigm Towards General Vision》鏈接:arxiv.org/abs/2111.08687 2. OpenGVLab開源網址:http://opengvlab.shlab.org.cn |
