6月19日消息，據“中國電信”官微發文，中國電信人工智能研究院（TeleAI）聯合北京智源人工智能研究院發布全球首個單體稠密萬億參數語義模型Tele-FLM-1T，成為國內首批發布稠密萬億參數大模型的機構。
面對大模型訓練過程中算力消耗巨大的挑戰，TeleAI與智源通過深度研發，結合模型生長和損失預測等關鍵技術，成功推出了Tele-FLM系列模型。這一系列模型在算力資源的使用上，僅消耗了業界普通訓練方案的9%，展現出極高的算力能效。
通過使用112臺A800服務器，TeleAI團隊在短短4個月內完成了3個模型總計2.3T tokens的訓練，全程無需任何調整和重試，充分證明了模型訓練的穩定性和收斂性。
值得一提的是，Tele-FLM-1T版本即將開源，此舉旨在為社區提供訓練萬億稠密模型的技術參考，有效解決萬億模型訓練收斂難等問題，進一步推動大模型技術的進步。
TeleAI不僅在技術創新上不斷突破，還積極通過開源方式推動大模型技術的普及和國產化進程。他們接連開源了7B、12B、52B參數規模的大模型，這些模型在開源社區中引發了廣泛討論和使用，開源模型下載量已超過萬次，吸引了超過40萬用戶。
本站內容除特別聲明的原創文章之外，轉載內容只為傳遞更多信息，并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題，請及時通過電子郵件或電話通知我們，以便迅速采取適當措施，避免給雙方造成不必要的經濟損失。聯系電話：010-82306118；郵箱：aet@chinaaet.com。