9 月 13 日消息，昆侖萬維發(fā)布了兩款全新的獎勵模型 Skywork-Reward-Gemma-2-27B 和 Skywork-Reward-Llama-3.1-8B。在獎勵模型評估基準 RewardBench 上，這兩款模型分別位列排行榜上的第一和第三位。

獎勵模型（Reward Model）是強化學(xué)習(xí)（Reinforcement Learning）中的核心概念和關(guān)鍵組成，它用于評估智能體在不同狀態(tài)下的表現(xiàn)，并為智能體提供獎勵信號以指導(dǎo)其學(xué)習(xí)過程，讓智能體能夠?qū)W習(xí)到在特定環(huán)境下如何做出最優(yōu)選擇。

獎勵模型在大語言模型（Large Language Model，LLM）的訓(xùn)練中尤為重要，可以幫助模型更好地理解和生成符合人類偏好的內(nèi)容。

與現(xiàn)有獎勵模型不同，Skywork-Reward 的偏序數(shù)據(jù)僅來自網(wǎng)絡(luò)公開數(shù)據(jù)，采用特定的篩選策略，以獲得針對特定能力和知識領(lǐng)域的高質(zhì)量的偏好數(shù)據(jù)集。

Skywork-Reward 偏序訓(xùn)練數(shù)據(jù)集包含約 80,000 個樣本，通過在這些樣本上微調(diào) Gemma-2-27B-it 和 Llama-3.1-8B-Instruct 基座模型，獲得最終的 Skywork-Reward 獎勵模型。