傳統資料中心時代，衡量基礎設施經濟效益的核心指標相對直接：算力成本，以及每美元所能購買的浮點運算性能。這兩項指標關注的是硬體本身的投入與理論峰值能力。然而，在生成式人工智慧時代，業務邏輯發生了根本性變化。AI基礎設施的最終輸出不是浮點運算次數，而是能夠直接服務於應用、產生商業價值的Token。因此，衡量AI基礎設施經濟效益的關鍵指標，必須從原始的算力投入轉向單位Token的實際成本。
算力成本代表了企業為獲得AI計算能力而支付的費用，這是一個典型的投入側指標。每美元FLOPS則用於衡量單位貨幣能換取多少理論計算峰值，同樣聚焦於資源採購環節。問題是，原始算力並不等同於現實世界中模型推理產生的Token產出。當企業的商業模式、客戶體驗和營收都圍繞Token產出運轉時，單純優化投入指標，即只關注如何降低GPU採購價格或提升理論FLOPS，會導致根本性的投入產出錯配。真正有意義的是每Token成本，即生成每一個有用輸出所需的綜合基礎設施支出。
以DeepSeek-R1模型為例，可以清晰看到這種指標切換帶來的經濟性差異。NVIDIA Blackwell架構與上一代Hopper架構相比，其GPU小時成本大約是Hopper的2倍。如果只看算力成本這一傳統指標，Blackwell似乎並不具備優勢。然而，當考察每瓦Token產出量這一能效與產出相結合的關鍵參數時，Blackwell的表現是Hopper的50倍以上。這種代際間的能效與產出效率的巨大躍升，直接反映在每百萬Token的成本上：從Hopper平台的約4.20美元急劇下降至Blackwell平台的約0.12美元，降幅高達約35倍。這意味著，在幾乎相同的電力預算下，Blackwell可以驅動數十倍以上的Token產出，或者為了生成相同數量的Token，基礎設施總擁有成本可以壓縮到原來的數十分之一。
要有效優化每Token成本，核心策略不是單純依賴壓低單個GPU的採購或租賃價格，而是最大化每一計算資源單位能夠產生的實際Token產出量。低價但低效的計算資源，如果單位產出低下，反而會導致更高的每Token成本。實現行業最低Token成本的關鍵，在於計算、網路、內存、儲存與軟體的全棧協同設計。計算層面需要高吞吐、低延遲的架構；網路必須消除資料搬移瓶頸；內存和儲存頻寬需匹配計算的消耗速度；而軟體棧則是將硬體潛能轉化為實際Token產出的放大器。NVIDIA的方案正是基於這種協同設計，通過優化每一個環節的利用率與資料流動效率，實現了從硅片到Token的端到端效率最大化。
此外，軟體優化的持續進步為降低每Token成本提供了另一條關鍵路徑。開源推理軟體生態的活躍發展，例如vLLM與TensorRT-LLM，正在不斷刷新Token產出的效率上限。vLLM通過高效的內存管理算法，顯著提升了推理過程的吞吐量並降低了顯存佔用；TensorRT-LLM則通過深度優化的內核執行與計算圖級融合，大幅加快了Token生成速度。隨著此類推理引擎的持續迭代，在不更換任何硬體的前提下，同一批GPU集群能產出的Token數量也在穩步提升。因此，對於AI基礎設施的經濟效益評估，需要從傳統的算力投入指標完全轉向每Token成本這一核心標尺，並採取全棧協同與軟體持續優化的策略，才能使每一美元投入轉化為盡可能多的實際業務產出。
。
WeChat
Profile