| 面向行業信息抽取的大模型知識蒸餾技術 | |
| 所屬分類：技術論文 | |
| 上傳者：wwei | |
| 文檔大小：1504 K | |
| 標簽： 大模型 知識蒸餾 信息抽取 | |
| 所需積分：0分積分不夠怎么辦？ | |
| 文檔介紹：面對某行業信息文本多樣性、模糊性、規模性和復雜性所帶來的實時性、準確性和算力資源挑戰，設計了一種面向某行業信息抽取的大模型知識蒸餾技術。該方法采用大模型作為Teacher，小模型作為Student，首先通過設計和優化提示詞模板引導Teacher模型生成標注數據集，其次基于生成的行業信息文本句式，并結合標注數據集與行業知識庫來增強數據集，最后基于LoRA微調技術在增強數據集上訓練Student模型。實驗結果表明，本文算法不僅能有效提升Student模型在行業信息文本抽取任務中的性能，使其具備與Teacher模型接近的精確率與召回率，同時能顯著降低模型部署的成本和復雜度，在資源受限的行業環境下帶來更多優勢和價值。 | |
| 現在下載 | |
| VIP會員，AET專家下載不扣分；重復下載不扣分，本人上傳資源不扣分。 | |
Copyright ? 2005-2024 華北計算機系統工程研究所版權所有 京ICP備10017138號-2