NVIDIA 發佈 Nemotron 3 Nano Omni：統一多模態推理的輕量級開源 MoE 模型 NEWS DETAIL

智能體系統經常需要在感知到行動的單一循環中處理屏幕、文檔、音頻、視訊和文本等多種輸入。然而，當前大多數系統仍依賴碎片化的模型鏈——分別使用視覺、音頻和文本模型堆棧，導致推理跳數增加、編排複雜度上升，同時降低了跨模態上下文的一致性。

NVIDIA 最新推出的 Nemotron 3 Nano Omni 正是為解決這一問題而生。作為 Nemotron 3 家族的新成員，這款 30B-A3B 混合專家（MoE）模型將統一的多模態推理能力整合到單個高效開源模型中，幫助智能體系統在統一的感知到行動循環中處理視覺、音頻和文本輸入，從而改善收斂性、降低編排複雜度和推理成本。

在性能方面，Nemotron 3 Nano Omni 在文檔智能排行榜（如 MMlongbench-Doc 和 OCRBenchV2）上取得了最佳精度，同時在視訊理解、音頻理解及 WorldSense、DailyOmni、VoiceBench 等多個基準測試中名列前茅。在推理效率方面，同等交互性能閾值下，Nemotron 3 Nano Omni 在視訊推理任務中可提供高達約 9.2 倍的有效系統容量，在多文檔推理中可達約 7.4 倍。

Nemotron 3 Nano Omni 採用混合 MoE 核心架構，結合 Mamba 層（用於序列和內存效率）與 Transformer 層（用於精確推理），相比純 Transformer 架構可提供高達 4 倍的內存和計算效率提升。在視覺處理方面，模型使用三維卷積捕捉幀間運動，並通過高效的視訊採樣層將多幀的高密度視覺 Token 壓縮為 LLM 可處理的精簡集合。

音頻方面，Nemotron 3 Nano Omni 基於 NVIDIA Parakeet 編碼器和專業資料集，超越了簡單的語音轉文本能力。視覺方面，C-RADIOv4-H 基礎模型以高分辨率處理圖像，在保持高分辨率細節和高效計算之間取得平衡。

模型採用多階段訓練策略：先進行適配器和編碼器訓練（覆蓋文檔、截圖、音頻和視訊的大規模資料），再通過監督微調逐步擴展模態覆蓋範圍，最後使用超過 230 萬次環境回滾的強化學習提升多模態任務和智能體工作流的魯棒性。

Nemotron 3 Nano Omni 完全開源，權重、資料集和訓練配方均可獲取。開發者可使用 Hugging Face 上的權重，或通過 NVIDIA NIM 微服務部署。模型支援 vLLM、SGLang 和 NVIDIA TensorRT-LLM 等多種推理引擎，並可在 Ampere、Hopper 和 Blackwell GPU 架構上運行。配合 OpenShell 運行環境和 OpenClaw 代理框架，Nemotron 3 Nano Omni 可在本地實現隱私優先的視訊理解、精准問答和多模態文檔處理等應用。