NVIDIA AI Enterprise助力麗蟾雲打造高效AI訓練推理平台

一、方案背景與核心挑戰

麗蟾科技自主研發的Leaper資源調度管理平台，致力於為企業和科研機構提供高性能的算力支撐和全棧AI開發能力。核心挑戰：AI訓練和推理面臨計算資源消耗大、分布式訓練通信瓶頸、模型部署週期長、不同GPU架構之間調度複雜等難題，需要一套從資料準備到推理部署的全鏈結加速方案來降低AI開發的技術門檻和運營成本。

二、解決方案名稱與架構

解決方案名稱：基於NVIDIA AI Enterprise的Leaper AI訓練推理加速平台

架構概述：麗蟾科技在Leaper上深度集成了NVIDIA AI Enterprise，為用戶提供從資料準備、模型訓練到推理部署的全面加速支援。通過與NVIDIA AI Enterprise的結合，Leaper實現了分布式訓練支援、自動混合精度訓練、實時監控與動態調度、資料預處理加速等核心能力。

三、核心技術組件

NVIDIA NCCL優化通信庫

通過整合NVIDIA NCCL優化通信庫，Leaper支援在大規模GPU集群環境下進行高效分布式訓練，解決了多節點通信中的資料同步瓶頸問題。NCCL優化了All-Reduce、All-Gather等集合通信操作，使Leaper在擴展到數百個GPU節點時仍能保持接近線性的加速比。

自動混合精度訓練

Leaper具備自動混合精度訓練功能，特別結合了NVIDIA Hopper架構的FP8精度計算能力，在大模型推理方向實現了更高的性能、更低的延遲和更高效的顯存使用。FP8精度相比傳統FP16在相同顯存頻寬下可提供2倍的張量核心計算吞吐量。

NVIDIA NIM微服務

Leaper已全面整合NVIDIA NIM微服務，覆蓋語音AI、智能檢索增強生成（RAG）、數字生物學、數字人、大語言模型等多個領域。用戶通過Leaper可快速部署經過優化的預訓練AI模型，將部署時間從天級縮短到分鐘級，顯著提升AI應用從實驗環境遷移到生產環境的效率。

四、行業應用

Leaper平台已在多個行業領域得到實際驗證：在科學研究領域支撐天體物理計算和生物資訊學分析的GPU加速；在醫療健康領域實現醫療圖像AI分析的快速模型迭代；在能源行業支撐高精度天氣預報模型的訓練和推理；在製造業實現產線智能質檢系統的持續優化；在零售電商領域支撐大規模推薦系統的模型更新和在線推理。Leaper通過NVIDIA NIM實現了跨領域的快速AI模型部署，讓不同行業用戶都能輕鬆獲得AI能力。

五、客戶評價

麗蟾科技董事長吳敏華表示："NVIDIA AI Enterprise是一套端到端的完整AI工具套件，非常適合運行在雲環境中。通過麗蟾自研的Leaper雲平台，將NVIDIA最先進的AI能力集成並傳遞給每一位客戶。隨著AI技術不斷發展，麗蟾科技將繼續通過這一集成平台推動更多行業的技術進步與應用落地。"