NVIDIA Model Optimizer 模型量化實戰：將 CLIP 模型壓縮為 FP8 格式 NEWS DETAIL

模型量化是降低顯存使用量並提升推理性能的有效方法。NVIDIA Model Optimizer 庫集成了最先進的模型優化技術，支援 FP4、FP8、INT8、INT4 等多種量化格式，以及 SmoothQuant、AWQ、SVDQuant 等先進算法。

ModelOpt 接受 Hugging Face、PyTorch 或 ONNX 格式的模型作為輸入，提供 Python API，開發者可輕鬆組合不同優化技術來生成優化檢查點。它同時支援訓練後量化和量化感知訓練兩種方式。

NVIDIA 發佈的技術文章以 CLIP 模型為例，詳細展示了使用 ModelOpt 進行 FP8 訓練後量化的完整流程。CLIP 模型的文本編碼器廣泛用於文本到圖像和文本到視訊生成的調節模組，其視覺編碼器則作為多模態大模型的視覺骨幹。量化後的模型可在保持品質的同時顯著降低資源需求。