NVIDIA Blackwell 創下 STAC-AI 金融 LLM 推理性能新紀錄 NEWS DETAIL

大語言模型正在改變金融交易領域的面貌。通過分析海量非結構化資料生成可執行的交易洞察，這些先進的 AI 系統能夠處理財經新聞、社交媒體情緒、財報資料和市場行情，以前所未有的精度預測股價走勢並自動化投資策略。

STAC（Strategic Technology Analysis Center）過去 15 年來一直為金融行業開發關鍵工作負載基準測試。其 STAC-AI 基準旨在幫助評估企業端到端 RAG 和 LLM 推理管線性能。最新測試結果顯示，NVIDIA Blackwell 平台在 STAC-AI LANG6 推理基準上創下了新的紀錄。

STAC-AI LANG6 基準聚焦 LLM 推理性能，測試基於 Llama 3.1 8B Instruct 和 Llama 3.1 70B Instruct 模型，使用基於 EDGAR 財報文件的金融資料集。其中 EDGAR4 模擬中等長度請求的企業關係總結場景，EDGAR5 則針對長上下文的完整 10-K 財報分析場景。

基準測試涵蓋批處理（離線）和交互（在線）兩種推理模式。批處理模式下所有請求同時輸入並收集響應；交互模式則模擬請求以偽隨機時間到達的真實場景，測量反應時間、每秒詞彙量和輸出速率等關鍵指標。與其他基準不同，STAC-AI 要求在推理過程中實時應用對話模板和分詞處理，更貼近生產部署的真實負載。

測試涉及多個硬體平台，包括基於 NVIDIA Hopper 架構的伺服器、NVIDIA RTX PRO 6000 Blackwell 伺服器版系統以及 NVIDIA HGX B200 平台，均搭載 TensorRT LLM 推理引擎。Blackwell 平台在多項測試中取得了領先的吞吐和響應時間表現，展示了新一代 GPU 架構在金融 AI 推理場景中的優勢。

對於量化交易公司、投資銀行和對衝基金而言，這意味著更快的模型推理速度可以實現更及時的交易信號生成和更大規模的市場分析覆蓋。隨著金融行業對實時 AI 推理需求的持續增長，Blackwell 在 STAC-AI 上的表現表明，GPU 架構的持續迭代正在為金融科技帶來可量化的性能提升。