近日，螞蟻集團(tuán)AI創(chuàng)新研發(fā)部門NextEvo全面開源AI Infra技術(shù)，可幫助大模型千卡訓(xùn)練有效時間占比超過95%，能實現(xiàn)訓(xùn)練時“自動駕駛”，這推動了AI研發(fā)效率。
該技術(shù)框架名為DLRover，目標(biāo)在于大規(guī)模分布式訓(xùn)練的智能化。目前很多企業(yè)的訓(xùn)練作業(yè)都是跑在混合部署的集群中，運行環(huán)境復(fù)雜多變，不管多么“崎嶇的地形”，DLRover都可以“輕松行駛”。
2023年大模型技術(shù)的發(fā)展，帶來了工程實踐的爆發(fā)，如何管理數(shù)據(jù)，提高訓(xùn)練和推理效率，最大化利用現(xiàn)有算力，成了關(guān)鍵一環(huán)。
完成一個千億參數(shù)級別的大模型，如GPT-3，用一張卡訓(xùn)練一次要耗時32年，那么訓(xùn)練時的算力利用尤為重要。方法之一是把能用的算力用得更好，比如進(jìn)一步壓榨已購買GPU的性能；二是把以前利用不了的算力用起來，比如CPU、內(nèi)存等，這就需要通過異構(gòu)計算平臺來解決。
據(jù)悉，最新集成進(jìn)DLRover的是Flash Checkpoint（FCP）方案。模型訓(xùn)練時，一般要打Checkpoint（檢查點），以便中斷時能恢復(fù)到最近狀態(tài)，目前常規(guī)的做法，存在著耗時長、高頻打點易降低訓(xùn)練可用時間、低頻打點恢復(fù)時丟失過多等缺點。新方案FCP應(yīng)用在千卡千億參數(shù)模型訓(xùn)練后，Checkpoint 導(dǎo)致的訓(xùn)練浪費時間降低約5倍，其中持久化時間降低約70倍，有效訓(xùn)練時間從90%提升至95%。
