TensorRT-LLM 支援 Recurrent Drafting：LLM 推理解碼評估重點 NEWS DETAIL

TensorRT-LLM 已加入對 Recurrent Drafting（ReDrafter）的支援，讓開發團隊可在 NVIDIA GPU 上評估以推測解碼加速 LLM 生成推理的路徑。此技術的核心並非保證所有模型與流量條件下都會加速，而是利用 draft 模組預測後續 token，再由主模型驗證；是否取得實際效益，取決於接受率、請求批次規模、模型與任務特性，以及既有 GPU 利用率。

ReDrafter 要解決什麼推理問題

自回歸 LLM 通常逐一產生 token，生成階段容易成為互動式服務延遲的主要來源。推測解碼會先平行產生多個候選 token，再交由主模型驗證，目標是在一次解碼迭代中接受多於一個 token。

ReDrafter 是由 Apple 為 LLM 推理開發並開源的推測解碼技術。來源資料指出，它結合以 RNN 為基礎的 drafting 與樹狀注意力機制，從多條可能路徑預測及驗證 draft token。相較於僅把候選生成與接受流程留在執行期處理的設計，ReDrafter 的重點是先驗證 token、接受最佳路徑，再進入下一輪 drafting，以減少處理最終未被採納路徑的負擔。

TensorRT-LLM 中的整合方式

TensorRT-LLM 是用於 LLM 推理最佳化的函式庫，提供 Python API 以定義 LLM 並建構 NVIDIA TensorRT 引擎。來源列出的既有最佳化能力包括自訂 Attention Kernel、Inflight Batching、Paged KV Caching，以及 FP8、INT4 AWQ 與 INT8 SmoothQuant 量化技術。

針對 ReDrafter，來源說明 drafting 與驗證邏輯可整合於單一 TensorRT-LLM 引擎，不必依賴執行期或分離引擎處理。這讓核心選擇與排程可在引擎層級調整，並使多數推測解碼元件在引擎內完成。實作時亦加入多項操作支援，使 PyTorch 程式碼較容易映射為 TensorRT-LLM 模型定義；實際可用操作、API 介面與版本相容性，仍應以具日期的官方文件及目標版本發行說明確認。

Inflight Batching 的部署考量

Inflight Batching（IFB）可將上下文處理與生成處理請求批次化，以改善吞吐量。但導入推測解碼後，生成請求還包含 draft token 驗證，管線會比一般批次處理更複雜。

來源所述的 ReDrafter 相容設計會將批次拆分為上下文請求與生成請求兩個較小批次，分別進入計算流程後，再合併進行 drafting。這要求任何路徑上的運算子均可處理空張量，因為某一批次可能只有上下文請求或只有生成請求。部署團隊應檢查自訂模型層、外掛程式與前後處理流程是否能正確處理此類邊界條件。

哪些場景值得優先評估

ReDrafter 較適合作為低流量或小批次互動式推理的評估選項。來源指出，推測解碼常用於 GPU 利用率較低的情境；當既有服務已能以大批次充分使用 GPU 時，額外的 draft 與驗證計算未必能帶來相同收益。

任務本身亦是關鍵。例如程式碼補全等較容易預測後續 token 的工作，可能有較高接受率。反之，若 draft 路徑品質不足，額外計算在驗證後遭捨棄，單步延遲可能上升。束數、束長度、束搜尋品質與訓練資料都可能影響接受率，因此不能僅依模型名稱或硬體配置推斷結果。

建議的評估流程與效能界線

1. 確認目標 TensorRT-LLM 版本是否含有 ReDrafter 所需功能，並核對完整模型、量化、平行策略與相依元件的相容性。
2. 以實際提示詞長度、輸出長度、併發量及服務端排隊條件建立基準，分別量測基礎 LLM 與 ReDrafter 配置。
3. 記錄端到端延遲、生成階段延遲、吞吐量、GPU 利用率與平均接受率，避免只比較單一指標。
4. 以代表性任務驗證輸出品質與行為一致性，再決定是否擴大至正式工作負載。

來源引用 Apple 的基準測試指出，在採用 TP8、即 8 張 GPU 張量平行的 NVIDIA GPU 配置下，使用 TensorRT-LLM 的 ReDrafter 吞吐量最高可達基礎 LLM 的 2.7 倍。這是特定測試結果，不應視為其他模型、GPU、批次大小、提示詞分布或服務流量下的承諾；專案決策應以自身測試為準。

常見問題

ReDrafter 是否一定能降低 LLM 推理延遲？

不一定。推測解碼會增加 draft 與驗證計算，必須有足夠高的平均接受率，才能抵銷額外開銷。低 GPU 利用率、小批次及後續 token 較易預測的任務，通常更值得測試。

導入 ReDrafter 前應先確認哪些事項？

應確認具日期的 TensorRT-LLM 官方文件、實際版本支援範圍、完整 SKU 或 BOM 中的 GPU 與軟體組合，以及模型定義和運算子對空張量的處理能力。之後再以真實流量與任務資料完成端到端驗證。

結論

TensorRT-LLM 對 ReDrafter 的支援提供了引擎內整合推測解碼的實作方向，特別適合需要評估小批次生成效率的 LLM 服務。其價值取決於接受率與實際工作負載，而非單一公開倍率；以相容性核對、代表性基準測試及品質驗證作為採用依據，才能判斷是否適合部署。

圍繞「TensorRT-LLM 支援 Recurrent Drafting：LLM 推理解碼評估重點」繼續瞭解 採購與選型問答。