| 面向行業信息抽取的大模型知識蒸餾技術 | |
| 所屬分類:技術論文 | |
| 上傳者:wwei | |
| 文檔大小:1504 K | |
| 標簽: 大模型 知識蒸餾 信息抽取 | |
| 所需積分:0分積分不夠怎么辦? | |
| 文檔介紹:面對某行業信息文本多樣性、模糊性、規模性和復雜性所帶來的實時性、準確性和算力資源挑戰,設計了一種面向某行業信息抽取的大模型知識蒸餾技術。該方法采用大模型作為Teacher,小模型作為Student,首先通過設計和優化提示詞模板引導Teacher模型生成標注數據集,其次基于生成的行業信息文本句式,并結合標注數據集與行業知識庫來增強數據集,最后基于LoRA微調技術在增強數據集上訓練Student模型。實驗結果表明,本文算法不僅能有效提升Student模型在行業信息文本抽取任務中的性能,使其具備與Teacher模型接近的精確率與召回率,同時能顯著降低模型部署的成本和復雜度,在資源受限的行業環境下帶來更多優勢和價值。 | |
| 現在下載 | |
| VIP會員,AET專家下載不扣分;重復下載不扣分,本人上傳資源不扣分。 | |
Copyright ? 2005-2024 華北計算機系統工程研究所版權所有 京ICP備10017138號-2