NVIDIA Blackwell創下STAC-AI金融推理基準記錄：LLM助力交易智能

大語言模型正在通過處理海量非結構化資料以生成可操作的交易洞察，徹底改變金融交易格局。這些先進的AI系統能夠分析財經新聞、社交媒體情緒、財報和市場資料，以前所未有的精度預測股價走勢並自動化投資策略。STAC（戰略技術分析中心）在過去15年中一直為金融行業的核心工作負載開發基準測試，其STAC-AI基準旨在幫助企業評估端到端RAG和LLM推理管道的性能。

STAC-AI LANG6基準測試聚焦LLM推理性能，使用Llama 3.1 8B Instruct和70B Instruct模型，結合基於EDGAR申報文件的自定義資料集。EDGAR4資料集模擬中等長度請求，要求模型對單個公司的10-K財務申報段落進行總結分析；EDGAR5則模擬長上下文請求，需要模型分析完整的10-K申報文件。這些資料集基於數千家上市公司過去五年的年報，測試模型在金融交易和投資建議場景下的推理能力。基準測試涵蓋批處理模式和交互式模式兩種場景，後者模擬偽隨機到達的請求流。

NVIDIA在多個平台上提交了STAC-AI審計結果，涵蓋基於Hopper架構的HPE伺服器系統、基於RTX PRO 6000 Blackwell伺服器版的Supermicro系統以及HGX B200平台。基準測試的一個關鍵差異化要求是在推理過程中應用聊天模板和Token化請求——實際部署中，企業通常希望由服務端完成這些預處理以保護系統提示詞。NVIDIA TensorRT-LLM在這些測試中展示了出色的端到端推理性能和可擴展性，為金融行業在RAG管道和LLM推理工作負載中部署AI提供了經過驗證的參考指標。

對於金融交易公司而言，這意味著在Blackwell GPU上運行TensorRT-LLM優化的大語言模型，可以在合規的EDGAR申報分析場景中實現更低的延遲和更高的吞吐量，將LLM驅動的交易策略從概念驗證推向生產級部署。