4月25日消息，蘋(píng)果公司于日前發(fā)布一個(gè)名為OpenELM的高效語(yǔ)言模型，具有開(kāi)源訓(xùn)練和推理框架。

蘋(píng)果方面表示，“大型語(yǔ)言模型的可重復(fù)性和透明性對(duì)于推進(jìn)開(kāi)放研究、確保結(jié)果的可信度以及調(diào)查數(shù)據(jù)和模型偏差以及潛在風(fēng)險(xiǎn)至關(guān)重要。為此，我們發(fā)布了 OpenELM。”

據(jù)介紹，OpenELM使用分層縮放策略，可以有效地分配Transformer模型每一層的參數(shù)，從而提高準(zhǔn)確率。例如，在參數(shù)量約為10億的情況下，OpenELM與OLMo 相比準(zhǔn)確率提升了2.36%，同時(shí)所需的預(yù)訓(xùn)練 tokens 數(shù)量為原來(lái)的50%。

“與以往只提供模型權(quán)重和推理代碼并在私有數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的做法不同。”蘋(píng)果官方指出，“我們發(fā)布的版本包含了在公開(kāi)數(shù)據(jù)集上訓(xùn)練和評(píng)估語(yǔ)言模型的完整框架，包括訓(xùn)練日志、多個(gè)檢查點(diǎn)和預(yù)訓(xùn)練配置。我們還發(fā)布了將模型轉(zhuǎn)換為 MLX 庫(kù)的代碼，以便在蘋(píng)果設(shè)備上進(jìn)行推理和微調(diào)。此次全面發(fā)布旨在增強(qiáng)和鞏固開(kāi)放研究社區(qū)，為未來(lái)的開(kāi)放研究工作鋪平道路。”

據(jù)悉，這是一項(xiàng)開(kāi)源語(yǔ)言模型，其源碼及預(yù)訓(xùn)練的模型權(quán)重和訓(xùn)練配方可在蘋(píng)果 Github庫(kù)中獲取。