浪潮計算機快速響應用戶需求和大模型開源生態(tài),聯(lián)合國內AI算力廠商,推出基于DeepSeek模型的“推理一體機”,以“軟硬協(xié)同”的完整方案,幫助企業(yè)擺脫復雜部署難題,實現DeepSeek全系列模型“即插即用”和大模型本地化,助力生產力有效轉換。
作為面向大模型場景設計的旗艦級產品,浪潮創(chuàng)新技術服務器NF5468H7深度融合DeepSeek全系列模型與國內AI加速卡,打造“開箱即用”的智算解決方案:
1 全模型覆蓋:全面兼容DeepSeek V3(通用底座)、R1(推理優(yōu)化)、Janus Pro(多模態(tài))等系列模型,支持智能客服與對話、文本分析、工業(yè)質檢、醫(yī)療影像識別等場景快速適配。
2 硬件性能躍升:搭載國內AI算力產品,單卡FP16算力達到主流水平,支持FP32/FP16混合精度加速,單機即可完成百億級參數模型的實時推理。
3 軟硬協(xié)同優(yōu)化:基于國內AI 加速卡深度定制CUDA兼容層,實現模型算子的定制優(yōu)化,由此能夠支持基于DeepSeek的量化及分布式推理,滿足對DeepSeek系列多類型模型的多并發(fā)推理業(yè)務需求。
此次發(fā)布的“推理一體機”并非簡單的“硬件堆砌”,而是通過浪潮計算機inAIP智能引擎實現從底層算力到上層模型的全局協(xié)同,為企業(yè)提供三大差異化價值:
1 快速交付:傳統(tǒng)大模型部署需經歷硬件調試、框架適配、算子優(yōu)化等漫長流程,一體機結合inAIP自動化配置工具,可實現低代碼部署與場景化模板,即3小時完成從開機到推理服務上線。
2 高 效利用:通過對AI算力的智能切割與動態(tài)調度,單機可同時承載多負載實時推理、數據預處理任務。能夠實現資源池化,將8卡AI加速卡集群虛擬化為多份算力單元,按需分配至不同業(yè)務線程,使硬件利用率提升至92%。
3 極簡運維:提供從硬件狀態(tài)到模型服務的全??梢暬芾?。并支持健康自檢,實時監(jiān)控加速卡溫度、顯存占用等指標,此種預測性維護提示能夠降低30%宕機風險。