傳統資料中心過去主要用於資料的儲存、檢索與處理。但在生成式 AI 與代理式 AI 時代，這些設施已演變為 AI Token 工廠。隨著 AI 推理成為其核心工作負載，它們的主要產出已轉變為以 Token 形式製造的智能。
這一轉變也需要對包括總體擁有成本（TCO）在內的 AI 基礎設施的經濟效益評估方式相應地進行調整。然而，在評估 AI 基礎設施時，企業仍過於關注芯片峰值規格、計算成本，或每美元所能獲得的浮點運算性能，即每美元 FLOPS。
關鍵區別在於：算力成本是企業為 AI 基礎設施所支付的費用；每美元 FLOPS 衡量的是企業每投入一美元所獲得的原始算力，但原始算力並不等同於現實世界中的 Token 產出；每 Token 成本指的是企業生成並交付每一個 Token 的綜合成本。前兩者僅是投入指標，但當業務圍繞產出運轉時，只針對投入優化，本質上是一種根本性的錯配。
每 Token 成本決定了企業能否實現 AI 的規模化盈利。它是唯一能夠直接綜合反映硬體性能、軟體優化、生態系統支援以及實際利用率的 TCO 指標。降低每 Token 成本的關鍵在於最大化實際交付的 Token 產出，這傳遞了兩層商業含義：最小化每 Token 成本可提升每一次交互服務的利潤空間；最大化每秒 Token 交付量，意味著更高收入。
NVIDIA 通過在計算、網路、內存、儲存、軟體以及合作夥伴技術上的極致協同設計，實現了業內最低的 Token 成本與最高的 Token 吞吐量。基於 NVIDIA 平台構建的開源推理軟體的持續優化，意味著在現有 NVIDIA 基礎設施部署後，Token 產出仍可不斷提升，每 Token 成本會持續下降。
WeChat
Profile