4 月 6 日消息，Meta 現(xiàn)已發(fā)布旗下最新 Llama 4 系列 AI 模型，包含 Llama 4 Scout、Llama 4 Maverick 和 Llama 4 Behemoth，Meta 透露相應(yīng)模型都經(jīng)過了“大量未標(biāo)注的文本、圖像和視頻數(shù)據(jù)”的訓(xùn)練，以使它們具備“廣泛的視覺理解能力”。

目前，Meta 已將系列模型中的 Scout 和 Maverick 上架到 Hugging Face（點(diǎn)此訪問），而 Behemoth 模型則還在訓(xùn)練中。其中 Scout 可以在單個(gè)英偉達(dá) H100 GPU 上運(yùn)行，而 Maverick 則需要英偉達(dá) H100 DGX AI 平臺或“同等性能的設(shè)備”。

Meta 表示，Llama 4 系列模型是該公司旗下首批采用混合專家（MoE）架構(gòu)的模型，這種架構(gòu)在訓(xùn)練和回答用戶查詢時(shí)的效率更高，所謂“混合專家架構(gòu)”基本上是將數(shù)據(jù)處理任務(wù)分解為子任務(wù)，然后將它們委派給更小的、專門的“專家”模型。

例如，Maverick 總共有 4000 億個(gè)參數(shù)，但在 128 個(gè)“專家”模型中只有 170 億個(gè)活躍參數(shù)（參數(shù)數(shù)量大致與模型的問題解決能力相對應(yīng)）。Scout 有 170 億個(gè)活躍參數(shù)、16 個(gè)“專家”模型以及總計(jì) 1090 億個(gè)參數(shù)。

不過值得注意的是，Llama 4 系列中沒有一個(gè)模型是像 OpenAI 的 o1 和 o3-mini 那樣真正意義上的“推理模型”。作為比較，“推理模型”會對其答案進(jìn)行事實(shí)核查，并且通常能更可靠地回答問題，但因此也比傳統(tǒng)的“非推理”模型花費(fèi)更長的時(shí)間來給出答案。

Meta 內(nèi)部測試顯示，Maverick 模型最適合用于“通用 AI 助手和聊天”等應(yīng)用場景，該模型在創(chuàng)意寫作、代碼生成、翻譯、推理、長文本上下文總結(jié)和圖像基準(zhǔn)測試中表現(xiàn)超過了 OpenAI 的 GPT-4o 和谷歌的 Gemini 2.0 等模型。然而 Maverick 與谷歌的 Gemini 2.5 Pro、Anthropic 的 Claude 3.7 Sonnet 和 OpenAI 的 GPT-4.5 等功能更強(qiáng)大的最新模型相比仍有一定進(jìn)步空間。

而 Scout 的優(yōu)勢則是總結(jié)文檔、基于大型代碼庫進(jìn)行推理。該模型支持 1000 萬個(gè)詞元（“詞元”代表原始文本的片段，例如單詞“fantastic”可拆分為“fan”、“tas”和“tic”），因此一次可以處理“多達(dá)數(shù)百萬字的文本”。

Meta 還進(jìn)一步預(yù)告了其 Behemoth 模型，據(jù)該公司稱，Behemoth 有 2880 億個(gè)活躍參數(shù)、16 個(gè)“專家”模型，總參數(shù)數(shù)量接近 2 萬億個(gè)。Meta 的內(nèi)部基準(zhǔn)測試顯示，在一些衡量解決數(shù)學(xué)問題等科學(xué)、技術(shù)、工程和數(shù)學(xué)（STEM）技能的評估中，Behemoth 的表現(xiàn)優(yōu)于 GPT-4.5、Claude 3.7 Sonnet 和 Gemini 2.0 Pro，但不如 Gemini 2.5 Pro。