中文引用格式： 于重，許文靜，安寧，等. 一種基于混合專家模型的多模態工單數據智能處理方法[J]. 電子技術應用，2025，51(9)：1-10.
英文引用格式： Yu Zhong，Xu Wenjing，An Ning，et al. An intelligent processing method for multimodal work order data based on mixture of experts model[J]. Application of Electronic Technique，2025，51(9)：1-10.
引言
智能工單系統的多模態數據分析與處理是提升業務系統數字化、智能化水平的關鍵步驟，承擔著客戶服務請求響應[1]、資源調度優化與業務流程協同的關鍵職能。然而，面對復雜業務場景中多模態數據分布不均、非結構化數據占比高、圖像文字信息驗證困難的特殊場景，現有工單系統存在分類效率低、數據清洗耗時長、跨模態驗證準確率低的問題，嚴重制約了工單處理的自動化水平。
現階段工單系統主要依賴單模態優化技術提升處理效率，但對多模態工單數據的協同處理能力較低。一方面，多源異構數據存在跨模態冗余與語義沖突，導致數據解析過程中關鍵信息漏檢率偏高；另一方面，基于單模態處理的大語言模型難以有效捕捉跨模態關聯特征，導致結構化表單生成數據精度偏低，嚴重制約了工單處理的智能化水平。
目前學術界在多模態數據處理領域取得階段性進展：甘卓浩等[2]提出一種基于跨模態交互 Transformer 的多模態方面級情感分析模型，通過文本語義增強模塊融合圖像標題與原始文本以彌補情感語義缺失；聶佳莉等[3]提出了一種基于卷積神經網絡和注意力機制模型的多模態特征融合波束賦形方法，以實現感知輔助的高可靠通信；此外，Kettenring[4]、Groves[5]和Martínez-Montes[6]等人也分別提出了不同的分析模型。然而，現有研究仍存在局限：一是跨模態冗余數據的協同利用率不足，關鍵信息漏檢率高；二是多模態特征融合缺乏語義一致性保障，數據清洗與結構化生成環節割裂。
本文針對上述挑戰提出系統性解決方案。首先，基于DeepSeekMoE架構設計多模態語義分析模型，分別構建面向語音、文本、圖像數據的領域專家子網絡，實現了跨模態數據的特征解耦與關鍵內容提取，完成非結構化數據的降噪清洗與語義增強。其次，提出基于Thinker-Talker的多模態特征融合架構，對異構數據的深層語義進行表征映射與沖突消解，實現多源特征的互補性驗證，有效提升冗余數據利用率與語義一致性。最后，針對工單生成場景設計了非結構化數據清洗與結構化表單生成算法，動態抓取系統日志、設備狀態等輔助信息，通過雙向約束校驗機制實現字段完整性驗證與異常修正，最終輸出符合相關標準的結構化工單。
本文結構如下：第1章介紹基于大語言模型的多模態數據處理技術的發展與技術現狀；其次給出基于DeepSeekMoE架構的多模態語義分析模型；然后提出基于Thinker-Talker的雙通道多模態特征融合架構；接著介紹了非結構化數據清洗與結構化表單生成算法在智能工單系統的實證應用；最后對提出的方法進行了消融實驗驗證其性能。
本文詳細內容請下載：
http://m.jysgc.com/resource/share/2000006679
作者信息：
于重，許文靜，安寧，劉珠慧
（國務院國有資產監督管理委員會干部教育培訓中心，北京 100053）
