中國北京——2026年1月12日——隨著座艙屏幕數量和算力趨近用戶感知上限,智能座艙的競爭焦點正由硬體堆疊轉向智能體驗。NVIDIA今日宣佈與全球領先的智能操作系統及端側AI產品提供商中科創達深化合作,共同推動智能座艙進入「AI定義」時代。
雙方合作的核心是NVIDIA TensorRT Edge-LLM——一個專為車載等邊緣端大模型部署打造的輕量級開源推理框架。該框架面向智能汽車等實時端側應用場景,針對少量用戶/低批量推理、離線運行、極致性能與高可靠性等核心訴求進行了深度優化。
TensorRT Edge-LLM:為邊緣端大模型而生的開源推理框架
TensorRT Edge-LLM具備以下核心特性:
純C++運行時:開源代碼,依賴極少,易於集成與生產部署
超輕量化設計:專注嵌入式場景,資源佔用最小化
高性能計算:優化的CUDA內核與TensorRT集成,實現最大吞吐量
高級能力:支援投機解碼、NVFP4量化、動態LoRA切換、先進KV緩存管理等
統一工具鏈:同一推理工具鏈適用於NVIDIA DRIVE AGX、Jetson及MediaTek Dimensity Auto座艙平台
NVIDIA此次開源TensorRT Edge-LLM,旨在將成熟的AI開發生態優勢向邊緣端延伸,統一技術規範以降低車企開發門檻,為AI模型廠商提供標準化適配路徑,並加速商業化落地。
中科創達基於TensorRT Edge-LLM的創新實踐
基於TensorRT Edge-LLM運行時,中科創達進一步構建了面向座艙業務的多模態AI服務架構,具備以下特點:
統一的AI服務接口:支援LLM、VLM及混合輸入的HTTP推理服務;支援Continuous Batching與Streaming推理,在多併發場景下吞吐量提高2.4倍
跨SoC平台的快速適配:統一的推理後端抽象層,實現平滑遷移,顯著降低適配成本
面向業務負載的推理任務調度和優化:支援根據業務優先級對推理任務進行掛起與恢復;在Qwen2.5-VL-7B模型上實現1.59倍推理加速
與算法訓練團隊協同工作:具備自主訓練EAGLE3 draft model及LoRA微調能力,形成閉環
客戶合作案例
案例A:重構AI座艙交互——基於NVIDIA DRIVE AGX Orin的端側算力與視覺大模型融合實踐
基於DRIVE AGX Orin平台,中科創達與某頭部車企攜手,成功打造並全球首發了新一代AI座艙。關鍵AI場景的端到端推理延遲降至秒級:
AI增強哨兵場景:2.6秒
AI迎賓場景:0.6秒
下車安全場景:0.7秒
停車記憶場景:0.8秒
中科創達成功解鎖了AIBOX (DRIVE AGX Orin) A樣的量產能力,實現了全球首次交付。
案例B:面向下一代車載自然交互的端側大模型記憶實踐
中科創達與某全球頭部車企合作,在車規級高性能AI算力底座上部署並優化了Qwen3-VL-4B視覺語言模型,成功實現了「長聆聽」與「端側主動記憶」兩大原型功能,為探索無界面的自然交互奠定了基礎。
面向未來的合作維度
NVIDIA與中科創達將聚焦於三個維度:
基於量產資料和用戶反饋持續優化DRIVE平台上的性能表現
共同開發支援個性化服務與座艙AI Agent框架
為車企提供從模型選型、量化優化到Agent部署集成的完整工具鏈與參考框架
NVIDIA與中科創達基於各自的核心能力形成深度互補,共同為行業提供從底層算力到上層應用的全棧解決方案,推動智能座艙從「功能定義」邁向「AI定義」的範式變革。
WeChat
Profile