NVIDIA Jetson Orin Nano 開發者套件得到「超級」提升 NEWS DETAIL

生成式 AI 格局正在迅速發展，新的 大語言模型 (LLMs)、視覺語言模型 (VLMs) 和視覺語言動作 (VLAs) 模型每天都在湧現。為了在這個變革時代站在前沿，開發者需要一個足夠強大的平台，通過使用 CUDA 的優化推理和開放 ML 框架，將最新模型從雲端無縫部署到邊緣。

為了支援機器人和多模態智能體中生成式 AI 工作負載的新興應用，NVIDIA 正在通過軟體更新來更新 NVIDIA Jetson Orin Nano 開發者套件 ，以 249 美元的驚人新價格將性能提升高達 1.7 倍。為表彰 Jetson Orin Nano 開發者套件在性能和可訪問性方面的出色提升，我們將 Jetson Orin Nano 開發者套件更名為 NVIDIA Jetson Orin Nano Super Developer Kit。

只需更新軟體，即可將 Jetson Orin Nano 開發者套件升級到 Jetson Orin Nano 超級開發者套件。

在本文中，瞭解開發者套件的新功能，以及如何無縫利用提升的性能。

全新 Jetson Orin Nano 超級開發者套件 

Jetson Orin Nano 超級開發者套件 現在提供以下改進：

· 生成式 AI 模型性能提升 1.7 倍。

· 67 Sparse TOPs 的數量顯著增加，較之前的 40 Sparse TOPs 有了明顯提升

· 102 GB/s 的顯存頻寬，與之前的 65 GB/s 顯存頻寬相比，實現了重大飛躍。

· CPU 主頻為 1.7 GHz，高於 1.5 GHz。

· 新降價 249 美元，低於 499 美元。

在相同的硬體架構下，這種性能提升是通過增加 GPU、內存和 CPU 時鐘的新電源模式實現的。之前的所有 Jetson Orin Nano 開發者套件都可以通過升級到最新版本的 JetPack 來使用新的功率模式。

借助這種性能提升，Jetson Orin Nano 超級開發者套件可提供高達 70% 的生成式 AI 性能，使您能夠運行新興的基於 Transformer 的新型模型。從較小的模型到具有多達 8B 參數的模型 (例如 Llama-3.1-8B 模型)，這款緊湊而強大的系統可以輕鬆處理各種 LLM、VLM 和 Vision Transformers (ViTs)。

Jetson 支援與其他平台相同的 ML 框架和優化的推理基礎設施，例如 Hugging Face Transformers、Llama.cpp、vLLM、MLC、NVIDIA TensorRT-LLM 等。這使其成為在雲、邊緣和 PC 之間快速調整和部署可擴展解決方案的理想選擇。

JETSON Orin Nano Super Developer Kit 配置

 

可運行各種 LLM、VLM 和 ViT 

如果您想將生成式 AI 功能引入嵌入式應用程序或在經濟實惠的計算機上體驗先進的生成式 AI 模型，NVIDIA Jetson Orin Nano 超級開發者套件可提供顛覆性性能。

LLMs、VLMs 和視覺 Transformers (ViTs) 是推動跨領域創新的變革性 AI 架構。Foundation LLMs 擅長通用語言處理和生成類似人類的文本，在與流式語音識別和合成流程 (例如 NVIDIA Riva ) 結合使用時，可實現自然的人類/機器界面。

小語言模型 (SLMs) 通過 剪枝和蒸餾 等技術取得了快速發展，可以與更大的模型競爭，並針對邊緣用例進行了優化，一般來說，參數大小在 7 億以下。

如今，開放式 LLM 和 SLM 已通過結構化 I/O (將 LLM 解析和推理連接到真實系統) 接受代理工具使用和函數調用訓練，這已成為常態。

許多 ML 框架 (包括 NVIDIA NeMo ) 也改進了對 LLM 微調和內存高效型 LoRAs 的支援，實現了在應用特定領域中對 SLM 進行對齊和專門化的易於理解的方法。ViTs 通過將像素片標記為嵌入，利用 Transformers 的強大功能實現視覺效果。它們在以下基本任務中實現了出色的性能：

· 特徵提取

· 分類

· 檢測

· 分割

· 姿態估計

它們還擴展到更高維的模式，例如 3D 點雲和採用 NVIDIA Cosmos Tokenizers 的視訊。ViTs 提示創意新型混合模型，該模型將定制視覺功能、開放詞彙語言支援以及針對各種主題和對象類別的動態運行時查詢融合在一起，無需額外微調。VLMs，例如 VILA ，融合 ViTs 和 LLMs 跨視覺和文本模式，使模型能夠理解和生成詳細的場景描述、檢測感興趣的物體並使用 OCR 提取文本。它們可以應用多模態推理來回應用戶對圖像或視訊序列的查詢。

在經歷了與 SLMs 類似的精簡工作後，VLMs 在應用於攝像頭流的遠程監控時（例如在 Jetson Platform Services 中的 參考 VLM Workflow 中）具有靈活的基於事件的警報和匯總功能，因此對於邊緣應用的用途越來越大。

這些技術共同支撐著生成式 AI 和多模態系統以及現實世界應用的進步。新的 NVIDIA Jetson Orin Nano Super 可顯著提升各種 LLM、SLM、ViT 和 VLM 的性能，並顯著降低入門門檻，以便獲得使用最新的 Transformer 模型作為物理 AI 門戶的實踐經驗。我們在下方對一些熱門的 LLM、VLM 和 ViT 進行了基準測試，並展示了 Jetson Orin Nano Super 開發者套件相較於前代產品所提供的加速。

圖 1、Jetson Orin Nano 超級開發者套件的 LLM 性能提升

圖 2、NVIDIA Jetson Orin Nano 超級開發者套件的 VLM 性能提升

Jetson Orin Nano Super Developer Kit 入門

要享受提升的性能，請從 JetPack SDK 頁面 下載 SD 卡鏡像，並按照 Getting Started Guide 操作 。

NVIDIA 基於 JetPack 6.1 發佈了 SD 卡鏡像，並支援提升性能。您還可以使用 SDK Manager 安裝 JetPack 6.1，並提升 Jetson Orin Nano Developer Kit 的性能。請確保您已更新 SDK Manager 並選擇 JetPack 6.1 (rev. 1) 安裝時。

啓動並運行 JetPack 後，請使用以下命令更改電源模式，以解鎖超強性能。模式 2 是 MAXN 模式，可帶來超強性能。

sudo nvpmodel -m 2

您還可以使用 Ubuntu 桌面頂部欄右側的 Power Mode Selector 更改電源模式。

圖 4、電源模式選擇工具

在 Jetson Orin Nano 超級開發者套件上體驗生成式 AI

NVIDIA 在 Jetson AI 實驗室中提供一系列教程和預構建容器，用於探索 Jetson Orin Nano 開發者套件中的生成式 AI。如果您對機器人感興趣，請務必查看 LeRobot 教程。對於希望創建生成式 AI 聊天機器人的用戶，我們提供了一個專門的教程來構建生成式 AI 聊天機器人。

Hugging Face 樂機器人 

NVIDIA 與 Hugging Face 合作 ，在 LeRobot 開放式 AI 平台上加速機器人研究。您可以在 Jetson Orin Nano 超級開發者套件上運行 HuggingFace LeRobot，該套件運行生成式 AI 模型，用於根據視覺輸入和先前的軌跡預測特定任務的動作。

圖 5、Hugging Face LeRobot 運行在 Jetson Orin Nano 開發者套件上

OLlama 的生成式 AI 驅動聊天機器人 

在 Jetson Orin Nano 超級開發者套件上運行生成式 AI 聊天機器人。此聊天機器人採用 Open WebUI 的 Ollama ，以 Open WebUI 的形式呈現，一個廣泛使用的開源聊天機器人伺服器接口，可連接到本地運行的 LLM。它使用檢索增強生成 (RAG) 進一步增強用戶體驗和功能。

圖 6、在 Jetson Orin Nano 超級開發者套件上運行的生成式 AI 聊天機器人

借助 Jetson AI 實驗室推進生成式 AI 發展 

Jetson AI Lab 是發現和試驗針對邊緣設備優化的最新生成式 AI 技術的中心。

通過營造公開協作和社區驅動的環境，NVIDIA 與開發者和合作夥伴攜手推進開源邊緣 AI 和機器人學習。我們全面支援 Jetson 設備上的熱門機器學習框架和優化的推理微服務，因此您可以在 Jetson 計算機上快速構建和部署最新的研究創新和模型，以跟上創新的步伐。

圖 7 顯示了 NanoOWL 開放詞彙實時物體檢測 ViT 示例。

圖 8 顯示了包含交互式 txt2img 和 img2img 相似性搜索的 NanoDB 多模態向量資料庫。

Jetson AI Lab 提供近 50 個易於學習的教程和預構建的容器，可幫助任何經驗水平的開發者快速開始使用設備上的 LLM、SLM 和多模態 VLM，以及 VLA、擴散策略和語音模型的變體。它們均在本地部署，並與雲端使用的優化推理基礎架構相同。

Jetson AI Lab 的協作式社區驅動教程和資源 可顯著降低在邊緣部署高級生成式 AI 的門檻。

所有 Jetson Orin Nano 系列和 Jetson Orin NX 系列模組均可實現超強性能提升

NVIDIA 還更新了 Jetson Orin Nano 系列和 Jetson Orin NX 系列的性能。從小型 AI 攝像頭到大型自主機器，每台邊緣設備都需要具備運行生成式 AI 模型所需的計算能力。

借助相同的模組硬體，您可以充分利用不同模組性能提升高達 1.7 倍的優勢。

• Orin Nano 系列： 改進 GPU、CPU 和內存的頻率和性能。

• Orin NX series： 跨 GPU 和 DLA 的改進。

有關提升 Jetson Orin Nano 和 Orin NX 生產模組性能的支援和文檔將於 1 月上半月發佈，並支援 JetPack 6.1.1。

鑒於客戶對 Orin 的需求日益增長，NVIDIA 最近還宣佈 將 Jetson Orin 的產品生命週期延長至 2032 年。憑借這種超強性能提升，Orin Nano 系列和 Orin NX 系列成為當前和未來模型的理想平台。