NVIDIA Jetson 邊緣 AI 入門：在嵌入式設備上運行 LLM 和大模型 NEWS DETAIL

在小型低功耗設備上運行先進 AI 和計算機視覺工作負載是日益增長的挑戰。NVIDIA Jetson 平台通過緊湊型 GPU 加速模組和套件專為邊緣 AI 和機器人設計。NVIDIA 發佈了系列教程，幫助開發者將最新的開源 AI 模型部署到 Jetson 設備上。

在 Jetson 上本地運行模型具有兩大優勢：完全隱私和零網路延遲。選擇不同的 Jetson 設備決定可運行的模型規模——Jetson Orin Nano Super（8GB）可運行 Llama 3.2 3B 等高效模型；AGX Orin（64GB）支援 gpt-oss-20b 或量化 Llama 3.1 70B；AGX Thor（128GB）可運行 100B+ 參數模型。

開發者可使用 vLLM 作為推理引擎和 Open WebUI 作為界面，在 AGX Orin 上通過 Docker 快速部署 gpt-oss-20b。整個工作流完全本地運行，無需雲端依賴。