《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 通信與網(wǎng)絡(luò) > 業(yè)界動(dòng)態(tài) > 騰訊發(fā)布高性能計(jì)算網(wǎng)絡(luò)星脈網(wǎng)絡(luò)2.0

騰訊發(fā)布高性能計(jì)算網(wǎng)絡(luò)星脈網(wǎng)絡(luò)2.0

大模型訓(xùn)練效率相比上代提升20%
2024-07-02
來(lái)源:IT之家

7 月 2 日消息,騰訊昨日發(fā)布其自研星脈網(wǎng)絡(luò) 2.0 版本,升級(jí)后的星脈網(wǎng)絡(luò)支持單集群 10 萬(wàn)卡組網(wǎng),網(wǎng)絡(luò)通信效率比上一代提升 60%,大模型訓(xùn)練效率提升 20%,故障定位從天級(jí)降低至分鐘級(jí)。

騰訊自研交換機(jī)從 25.6T 升級(jí)到 51.2T,容量提升一倍;自研硅光模塊從 200G 升級(jí)到 400G,速率提升一倍;搭載自研算力網(wǎng)卡;整機(jī)通信帶寬 3.2T,為業(yè)界最高。

騰訊自研全新通信協(xié)議 TiTa2.0 的部署位置從交換機(jī)轉(zhuǎn)移到了網(wǎng)卡上,擁塞算法也從被動(dòng)擁塞算法升級(jí)為主動(dòng)擁塞控制算法,將星脈網(wǎng)絡(luò)的通信效率提升 30%,讓大模型的訓(xùn)練效率提升 10%。

騰訊全新高性能集合通信庫(kù) TCCL2.0 采用 NVLINK+NET 異構(gòu)并行通信,實(shí)現(xiàn)數(shù)據(jù)的并行傳輸。Auto-Tune Network Expert 自適應(yīng)算法可以根據(jù)機(jī)型、網(wǎng)絡(luò)規(guī)模、模型算法等差異,自動(dòng)調(diào)整數(shù)據(jù)包分割大小、匹配算法等參數(shù)。星脈網(wǎng)絡(luò)通信性能提升 30%,讓大模型的訓(xùn)練效率再提升 10%。

0.jpg

▲ 數(shù)據(jù)的并行傳輸(騰訊云)

TiTa 與 TCCL 升級(jí)帶來(lái)的效果疊加,讓星脈網(wǎng)絡(luò)的通信效率共提升 60%,大模型訓(xùn)練效率共提升 20%

Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 1024手机看片基地| 国偷自产AV一区二区三区| 天堂AV无码AV一区二区三区| 国产精品久久精品视| 国产一区二区电影| 亚洲欧洲无码一区二区三区| 久久人人爽人人爽人人片av不| а√天堂中文在线资源bt在线| 波多野结衣33| 精品国产欧美一区二区| 欧美在线xxx| 岳打开双腿让我进挺完整篇| 国产精品19禁在线观看2021| 再深点灬舒服灬太大了添网站| 亚洲av第一网站久章草| xxxxx做受大片在线观看免费| 欧美极度另类精品| 灰色的乐园未增删樱花有翻译| 日本理论在线看片| 国产韩国精品一区二区三区 | 5060午夜一级一片| 美国一级毛片免费视频观看| 欧美v在线观看| 日本五月天婷久久网站| 在线天堂中文字幕| 四虎影永久在线观看精品| 亚洲av片不卡无码久久| 99久久精品免费看国产一区二区三区| 西西人体www44rt大胆高清| 欧美性xxxx禁忌| 好男人资源在线播放看| 国产一级爱做c片免费昨晚你| 亚洲另类视频在线观看| aa级女人大片喷水视频免费| 老扒系列40部分阅读| 本子库全彩时间暂停| 国产精品自线在线播放| 亚洲香蕉免费有线视频| 一级毛片免费播放试看60分钟| 蕾丝视频在线看片国产| 日韩美女乱淫试看视频软件|