NVIDIA DFlash 推理加速解析：在 Blackwell 上以推測解碼將吞吐提升最高 15 倍 NEWS DETAIL

隨著 AI 系統從單輪問答走向多智能體協同，低時延推理正成為大模型落地中的關鍵指標。自回歸模型按 token 逐個生成內容，這種串行方式會限制 GPU 利用率，也會在對交互速度要求較高的場景中壓縮整體吞吐空間。

NVIDIA 介紹，開源輕量級推測解碼模型 DFlash 通過塊擴散草稿生成方式，把原本逐 token 的草稿階段改造成並行塊級工作流，再由目標模型進行並行校驗。在這一機制下，系統既能保持目標模型輸出品質，又能顯著提升推理階段的並行度與資源利用效率。

在基於 TensorRT-LLM 的 NVIDIA Blackwell Ultra 測試中，DFlash 為 gpt-oss-120b 帶來了明顯的吞吐優勢。在每用戶每秒 500 到 600 token 的高交互區間，DFlash 相比傳統自回歸解碼最高可實現 15 倍以上吞吐提升，也比 EAGLE-3 推測解碼高出約 1.5 倍。在低併發場景下，它還能把交互速度進一步翻倍。

這種收益與 Blackwell 架構特點密切相關。文章指出，Blackwell Ultra 通過更強的芯片互連、統一計算域以及高密度 Tensor Core，為塊級並行推測解碼提供了更好的硬體承載能力。DFlash 則把更多原本受串行約束的解碼工作轉化為並行計算，有助於在同等交互目標下服務更多併發用戶。

從生態相容性看，DFlash 不只停留在研究階段。研究團隊已經發佈 20 個模型檢查點，並提供面向 Blackwell 與 Hopper GPU 的配方，覆蓋 Qwen、Kimi K2.6、Llama、Gemma 和 gpt-oss 等模型家族。與此同時，DFlash 已可在 TensorRT-LLM、vLLM 與 SGLang 等主流 NVIDIA 推理棧中使用，開發者通常只需替換配置或草稿模型，而不必重構應用層代碼。

對企業推理團隊而言，這類優化的意義不只是跑分更高，而是在相同延遲目標下承載更多會話、降低單位請求成本，並讓代碼生成、推理問答和智能體工作流具備更高的服務密度。隨著推理基礎設施持續向高併發和低時延演進，像 DFlash 這樣的並行推測解碼方案，正在成為提升生產級大模型吞吐效率的重要方向。