|
Tigerbot是虎博科技自研的多語言多任務大規模語言模型，已于6月7日發布并開源。上線僅一日，Tigerbot已在開源社區GitHub上獲超1000 Stars，深受廣大開發者喜愛。 
(截至6月8日，開源社區github上Tigerbot的相關情況) 此次開源涉及模型、代碼、數據三部分內容，包含 TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research 等多個模型版本;基本訓練且覆蓋雙卡推理 180B 模型的量化和推理代碼;以及達 100G 的預訓練數據、監督微調 1G/100 萬條數據。 值得一提的是，開源版本中，TigerBot-7B-base的綜合表現優于同等可比的OpenAI和BLOOM，TigerBot-180B-research 的參數量達1800億，或是目前業內最大的大規模語言模型，而高達100G的預訓練數據，更被視為目前業內最大且質量最優的開源預訓練數據之一。 同時，虎博科技還與廣大開發者共享了大模型應用開發所需的全套API，包括對話(Chat)、插件(Plug-ins)、微調(Fine-Tunes)等，并提供金融、法律、百科等專業領域數據，旨在構建構建大模型生態藍圖。 據了解，Tigerbot基于 GPT 和 BLOOM 兩個開源模型基礎上進行研發，在模型架構、算法以及計算經濟性等方面做了一系列優化，主要體現在四方面： (1)、指令完成監督微調的創新算法，以提升可學習型(learnability); (2)、運用ensemble 和 probabilistic modeling 的方法，實現更可控的事實性(factuality)和創造性(generativeness)，進一步 避免模型可能產生的“胡說八道”; (3)、在并⾏訓練上，突破了 deep-speed 等主流框架中若⼲內存和通信問題，使得在千卡環境下數⽉⽆間斷，不僅大大縮短了模型訓練的時間，每月還能節省數十萬訓練費用; (4)、對中⽂語⾔的更不規則的分布，從 tokenizer 到訓練算法等方面做了針對性算法優化，使得模型的問答更具中國文化屬性。 然而，這些創新僅僅是個10人小團隊在3個月內完成的。據虎博科技創始人兼CEO陳燁介紹，他自己也在一線寫代碼。過去三個月中，團隊累計完成超3000次實驗，“每天至少有3次實驗，第一個月的模型表現已經可以達到OpenAI可比模型的八成。”根據 OpenAI InstructGPT 論文在公開 NLP 數據集上的自動評測，TigerBot-7B就已達到 OpenAI 同樣大小模型的綜合表現的 96%，且只是 MVP(最小最小可行性模型)。 秉持科學無國界無階層的理念，陳燁希望共享階段性成果，“大模型技術就像是一門新興學科，將是顛覆式且長周期的，其未來的可能性將超過每個人的想象。” 第一、作為一名AI領域內的技術人員，出于對技術最本能的信仰，他有一點熱血、有一點煽情，“我們想要以世界級的大模型，貢獻于中國創新。給行業一個可用的、底層基礎扎實的通用模型，能讓更多人快速訓練出專業大模型，實現產業集群的生態打造。” 第二、TigerBot會繼續保持高速迭代，并在目前賽跑的局面下，仍能保持身位優勢。即便是看到有人以TigerBot為底層開發出了性能更好的產品，這對于行業內來說又何嘗不是一件好事? 陳燁認為，現階段不宜過早和過于理性地探討產品、應用、場景和商業化，更重要的是推廣這一人工智能基礎設施的原創突破，促進技術的發展和更新，“開源就是最好的方式”。 |
