NVIDIA 發佈模型量化新工具：Model Optimizer 實現高效 AI 推理優化 NEWS DETAIL

模型量化是一種有效減少顯存佔用並提升推理性能的方法。通過降低計算和內存需求同時保持模型品質，量化幫助 AI 模型在資源受限環境中更高效地運行。NVIDIA Model Optimizer（ModelOpt）庫集成了最先進的模型優化技術，包括量化、蒸餾、剪枝、推測解碼和稀疏化，可接受 Hugging Face、PyTorch 或 ONNX 格式的模型作為輸入。

ModelOpt 支援 FP4、FP8、INT8 和 INT4 等多種高性能量化格式，以及 SmoothQuant、AWQ、SVDQuant 和 Double Quantization 等先進算法。同時支援訓練後量化（PTQ）和量化感知訓練（QAT）。本文以 CLIP 模型的 FP8 PTQ 量化為例，詳細演示了整個流程。

量化流程包括六個階段：準備階段配置量化參數以插入量化器模組；校准階段將少量代表性資料前向傳播以收集統計資訊；偽量化階段在浮點數中模擬量化的精度損失；評估階段與未量化基線對比精度；迭代階段根據精度差距調整配置；導出階段將偽量化權重壓縮為真正的低精度格式。

在 CLIP 模型上的評測顯示，FP8 量化模型與 FP16 基線模型品質相當。當在 patch embedding 層禁用量化器時，量化對模型品質的影響幾乎可以忽略。導出的量化模型可通過 TensorRT 等部署框架實現真正的加速和顯存節省。