訓練大語言模型需要定期保存檢查點，包含模型權重、優化器狀態和梯度的完整快照。在大規模訓練中，這些檢查點體積驚人——70B 模型的單個檢查點達 782 GB，且每 15-30 分鐘保存一次，成為訓練預算中最大的開支項之一。
NVIDIA 的研究表明，在 128 張 Blackwell GPU 上訓練 405B 模型時，同步檢查點的 GPU 空閒等待成本每月高達 20 萬美元。而引入基於 NVIDIA nvCOMP 的無損壓縮方案，僅需約 30 行 Python 代碼，即可將儲存成本降低 5.6 萬美元/月。
NVIDIA nvCOMP 是一個 GPU 加速的無損壓縮庫，在檢查點離開 GPU 內存之前就進行壓縮，無需 CPU 往返和額外資料移動。該庫支援 Zstandard 和 GPU 專用 gANS 格式兩種算法。稠密模型壓縮比約 1.25-1.27×，MoE 模型可達 1.39-1.40×。
集成只需約 30 行 Python 代碼，作為 torch.save/torch.load 的即插即用替代。
WeChat
Profile