Google與NVIDIA宣佈達成技術合作，將Gemma 4開放模型針對NVIDIA GPU進行全面優化，覆蓋從資料中心到終端設備的全系列硬體，包括NVIDIA RTX PC和工作站、DGX Spark個人AI超級計算機，以及Jetson Orin Nano邊緣AI模組。這一合作標誌著開放模型從雲端向本地設備的大規模遷移正在加速推進。
Gemma 4是Google DeepMind推出的新一代開源模型家族，基於Gemini 3同源技術構建，採用Apache 2.0許可協議，允許免費商用。該系列包含四種變體：E2B、E4B、26B和31B，分別針對不同的部署場景和硬體配置進行了專門設計。E2B和E4B模型專為超高效、低延遲的邊緣推理打造，可在包括Jetson Nano模組在內的多種設備上完全離線運行，實現接近零延遲的推理響應。E2B有效參數為2.3B，E4B有效參數為4.5B，兩者均採用Per-Layer Embeddings技術，在保持小體積的同時具備更強的表示能力。這兩款模型支援文本、圖像和音頻輸入，上下文窗口達128K，特別適合手機、物聯網設備和邊緣計算場景。
26B和31B模型則專為高性能推理和開發者工作流設計，非常適合代理式AI任務。其中26B採用混合專家架構，總參數26B但每次前向傳播僅激活約3.8B參數，在Q4量化下最低僅需18GB顯存即可運行完整256K上下文，是本地部署的黃金平衡點。31B為密集模型，總參數30.7B，在Q4量化下約需20GB顯存起步，隨上下文擴展至256K時需40GB顯存，提供當前最強的推理品質。兩款大模型均支援文本、圖像和視訊輸入，上下文窗口達256K，能夠處理長篇文檔和複雜多輪對話。Gemma 4全系列支援超過35種語言的直接使用，並在超過140種語言資料上進行了預訓練，具備強大的多語言能力。
在部署體驗方面，NVIDIA已與Ollama和llama.cpp深度合作，為各Gemma 4模型提供最佳本地部署方案。用戶可通過Ollama一鍵運行Gemma 4模型，或安裝llama.cpp配合GGUF格式的Hugging Face checkpoint進行量化部署。Unsloth也提供首日支援，通過Unsloth Studio提供經過優化和量化的模型，支援高效的本地微調和部署。此外，Gemma 4已相容OpenClaw等本地代理AI平台，允許用戶構建能夠訪問個人文件、應用程序和工作流程上下文的本地智能體，實現任務自動化。在Jetson Orin Nano上，開發者已成功實現Gemma 4作為視覺語言智能體的完整演示——模型能夠自主決定何時需要調用攝像頭獲取視覺資訊來回答用戶問題，實現語音識別、視覺理解與語音合成的閉環交互。
CUDA軟體棧在此次優化中發揮著關鍵作用。NVIDIA Tensor Core可加速AI推理工作負載，為本地執行提供更高吞吐量和更低延遲。CUDA軟體棧確保與主流框架和工具的廣泛相容性，使新模型從發佈首日起就能高效運行。這套組合使得Gemma 4等開放模型可在從邊緣Jetson設備到RTX PC、工作站和DGX Spark的廣泛系統上擴展部署，無需深度優化即可覆蓋多種硬體場景。
WeChat
Profile