面向聊天助手、編程 Copilot 和智能體工作流等實時 AI 應用，文本生成速度往往直接決定交互體驗與服務成本。NVIDIA 在 2026 年 6 月 10 日發佈的技術文章中介紹，DiffusionGemma 採用不同於傳統自回歸模型的生成方式，可在單步中並行生成 256 個 token，以提升整體吞吐能力。
根據 NVIDIA 披露的資訊，DiffusionGemma 由 Google DeepMind 創建，並已針對 NVIDIA 平台完成優化。在性能方面，該模型在單張 NVIDIA H100 Tensor Core GPU 上可達到每秒最高 1000 token，在 NVIDIA DGX Spark 上最高約 150 token/s，在 NVIDIA DGX Station 上最高可達 2000 token/s。這類能力有助於開發者在保持模型品質的同時，進一步改善響應速度、併發能力和推理成本。
從模型規格來看，DiffusionGemma 支援文本和圖像模態，總參數量為 252 億，激活參數為 38 億，最長上下文可達 256K token，支援 BF16 與 NVFP4 精度格式。NVIDIA 還給出了面向不同部署環境的適配路徑，包括用於本地開發與原型驗證的 DGX Spark、適合桌邊高性能開發的 DGX Station，以及面向桌面 AI 應用與本地推理的 RTX 與 RTX PRO 平台。
在開發流程上，開發者可以先通過 Hugging Face Transformers 在 GeForce RTX 5090 或 DGX Spark 上進行測試與原型構建；若需要更高吞吐或多用戶併發服務，則可結合 vLLM 在 DGX Spark、DGX Station 或 RTX PRO 環境中部署。NVIDIA 同時提供了 build.nvidia.com 上的 GPU 加速接口，供開發者進行免費原型驗證。
面向生產環境，NVIDIA 將 DiffusionGemma 接入 NVIDIA NIM，以容器化推理微服務的方式簡化部署。通過標準化 API、性能調優能力以及本地、雲端、混合環境的適配，企業可以更快把模型從實驗階段推向正式業務。對於有行業微調需求的團隊，NVIDIA 還提供了基於 NeMo AutoModel 的微調指南與配方，幫助開發者直接圍繞 Hugging Face 權重開展適配工作。
整體來看，DiffusionGemma 的意義不僅在於模型本身，更在於它為高吞吐、低延遲文本生成提供了新的工程路徑。對希望構建實時智能體、交互式助手和企業級生成式 AI 服務的團隊而言，這套圍繞 NVIDIA 硬體與軟體棧的部署方案，能夠幫助其更快完成從原型驗證到生產落地的過渡。
WeChat
Profile