在華為全聯接大會2025期間,以“與時代,共昇騰”為主題的昇騰AI人工智能產業峰會在上海成功舉行。現場,昇騰聯合行業伙伴發布大規模專家并行(大EP)技術在運營商、政務、教育、金融、大模型、電力六大行業的優秀實踐,展現推理系統構建突破,助力企業智能化升級,帶來極致 AI 推理體驗。
六大行業大規模專家并行優秀實踐正式發布
當前,MoE模型成大模型落地重要方向,但企業部署面臨多重難題:傳統方式需頻繁切換硬件集群、適配底層硬件,導致推理系統搭建周期長、成本高;且現有方案難平衡性能與資源利用率,高并發場景下吞吐不足、時延高,“碎片化”部署無法滿足規模化應用需求,阻礙AI技術產業滲透。
為有效解決以上問題,昇騰依托AI基礎軟硬件優勢,聯合伙伴打造“開箱即用”的大規模專家并行(大EP)解決方案。硬件上,以昇騰384超節點為核心,基于靈衢互聯協議,通信帶寬提升15倍、時延降至200ns內;架構上,首創“1卡1專家”模式,配合昇騰基礎軟件加速,系統推理吞吐提升4倍以上,實現“1份投入,4份產出”;軟件上,方案內置全新MindIE Motor推理服務加速庫,提供大EP部署、PD分離配置、DP負載均衡、分鐘級故障恢復等能力,大幅降低大EP開發部署維護門檻。
目前,該方案已在六大行業規模化落地。運營商領域支撐高并發業務,部分企業相關調用成本降超50%;政務場景助力打造AI輔助審判系統;教育領域服務數萬師生,2k輸入輸出場景吞吐性能提3倍以上;金融行業風控等業務響應能力提3倍以上;電力系統高效處理供電方案生成等需求;大模型企業完成多行業分布式推理系統部署。
此次實踐發布,標志AI推理進入高效可靠新階段,彰顯昇騰技術引領地位。未來,昇騰將持續攜手伙伴,深化全鏈路創新,推動大模型與行業深度融合,提供更多“開箱即用”方案,加速全場景、全行業AI應用落地,開啟AI推理新時代。