轉變電信網路以管理和優化 AI 工作負載 NEWS DETAIL

今年年初，5G 全球連接數量接近 20 億，預計到 2028 年將達到 77 億。雖然 5G 帶來了更快的速度、更高的容量和更低的延遲，特別是在視訊和資料流量方面，但網路運營商創造新收入的初步承諾仍然未能實現。

大多數移動應用程序現在都已路由到雲端。與此同時，基於傳統設計的無線接入網（RAN）和資料包核心解決方案隨著軟體增強和更高效的硬體不斷改進。這些運行傳統語音、資料和視訊工作負載的單一用途系統並沒有顯著增加電信公司的每個用戶的平均收入。相反，這些系統主要支援連接，並被視為運營支出，從而降低了投資回報。然而，這種方法即將改變。

ChatGPT 和 快速大語言模型（LLM） 創新讓我們初步瞭解了一種需要加速計算的新型應用，這就需要不同類型的多用途網路來優化 AI 和生成式 AI 工作負載。最初，AI 網路部署側重於繁重的訓練工作負載，這些工作負載是集中式的，並且需要大型資料中心。早期的 LLM 推理也主要是集中式的，並與訓練工作緊密結合，從而導致從邊緣到雲的更多相同的流量運動。

視覺語言模型（VLMs）和小語言模型（SLMs），以及大型語言模型（LLMs）推理效率的提高，非常適合分散在網路中的分布式架構，從而使生成式 AI 模型更接近資料。隨著生成式 AI 向代理 AI 和多模態 AI 的演進，推理將需要與網路端點更緊密地保持一致，因為企業需要資料定位、安全性和有保證的服務品質（QoS）。當今的電信網路已經滿足了這些要求。

本文解釋了對 AI 原生網路基礎設施的需求，並介紹了滿足電信網路中 AI 工作負載需求的重要意義和機遇。

平衡 AI 推理流量與傳統工作負載

從面向大型語言模型（LLM）訓練的集中式計算架構轉向面向生成式人工智慧的高度分布式推理方法，將對未來的網路產生深遠影響。隨著小型語言模型（SLM）、視覺語言模型（VLM）和大型語言模型（LLM）推理流量的增加，網路中資料流的請求也會增加。終端設備將演變為截取某些請求，但會受到設備端計算、內存和功耗的限制。

與傳統應用一樣，將所有網路流量發送到雲端存在問題，因為生成式 AI 模型攜帶資料以生成獨特的實時響應。將預期的消費者和企業推理請求數量與網路上的內部模型相加會導致資料管道繁忙。

需要動態路由以提高吞吐量和延遲的多模態請求案例不斷湧現。影響資料移動的其他要求包括用戶隱私、主權和安全性，包括通過資料包核心和 UPF 允許的資料。

對於電信公司來說，這是一個絕佳的機會，因為他們的無線網路和計算集群高度分散，並且可在許多地理位置使用。如果電信公司能夠平衡關鍵的傳統工作負載和新的 AI 推理流量，那麼應用程序就會產生收入。這種方法已開始在大型語言模型（LLM）訓練中發揮作用，而生成式 AI 推理在邏輯上是電信公司應該關注的下一個盈利機會領域。

支援敏捷推理服務 

NVIDIA 和 AI 生態系統致力於打造更輕便、更敏捷的推理服務。這些服務構建為可在任何地方運行的容器，並且可以進行負載均衡、調度和以多種方式組合。可部署容器使生成式 AI 模型更接近資料，並利用 檢索增強生成 (RAG)。隨著 SLM、VLM 和多模型模型的創建以及代理工作流的普及，這一點將變得越來越重要。

網路幾乎可以在任何地方支援 AI 容器。AI 代理和較小的模型將導致一種新型 LLM（或基於模型的路由），其中模型權重和網路見解用於確定在何處以及如何將網路流量負載平衡到這些模型，以防止阻塞和超額認購。

當前的網路（尤其是邊緣網路）並非專為這種 AI 流量的自適應路由而構建。

AI 原生網路基礎設施 

如今，電信網路通常對網路的每個部分使用單一用途和硬體優化的解決方案。分布式單元（DU）和集中式單元（CU）各有一個盒，防火牆有一個盒，用戶面功能（UPF）有一個盒，以此類推。連接這些單元的網路交換器和網路結構在大多數情況下都未進行優化。

使用軟體定義的工作負載是解決這一問題的第一步。如果每個應用程序都可以軟體定義，那麼應用程序可以在經過優化的容器中運行，並且可以在任何位置加載。

生成式 AI 格局和 LLM 的出現需要以全堆棧加速計算平台為基礎。這種 AI 原生網路基礎設施可以擴展，並被許多行業標準應用充分利用。理論上，相同的基礎設施可以托管任何軟體定義的應用，並根據需求動態共享，以創建未來的 AI 原生、可編程和多用途網路，包括：

1. 低功耗、高性能、高能效的 CPU（通常基於 ARM），適用於串行、虛擬化和基於租戶的應用。

2. 適用於並行、向量和基於矩陣的應用程序（通常為 GPU）的高功率加速器。

3. 低功耗流量加速器，用於處理中斷驅動和資料包整形用例（通常為 DPU）。

幾乎任何軟體定義的應用程序都可以通過跨 CPU、GPU 和 DPU 的強大軟體框架進行優化。

第二步是確保網路路由和網路結構的優化。在資料管道內部需要額外的網路安全和優化，而不是傳統的計算架構。網路結構必須具有可編程性，以實時適應 AI 或非 AI 工作負載，無論是支援 AI 集群中的東西向流量，還是通往防火牆或儲存設備的流量。這種網路結構必須能夠適應 LLM 推理請求的路由和負載均衡。

許多這類工作已經在進行中，許多關鍵的獨立軟體供應商（ISV）、防火牆供應商、資料包核心提供商和其他生態系統成員正在採用軟體定義的方法來滿足電信客戶的需求。

更高的性能和新的創收機會 

AI 推理正以極快的速度發展。電信公司必須滿足 AI 流量的新需求，以及更大限度地提高計算基礎設施利用率和增加收入的需求。

通過為每項任務使用最佳工具，電信公司可以顯著提高每瓦性能，同時不損害可編程性和多用例支援。同時在同一 RAN 基礎設施上運行軟體定義的傳統工作負載和新的人工智慧工作負載，可以釋放新的收入機會。

希望通過基礎設施獲利的電信公司可以採取以下任意步驟：

1. 使用低功耗 CPU 和功能強大的 DPU 增強網路結構的各個部分或全部網路結構。這與人工智慧無關，並且遵循亞太地區雲服務提供商和大型電信公司成功部署的參考架構。

2. 選擇邊緣位置，並為其提供支援 AI 的加速計算基礎設施。這不是一項大投資，使電信公司能夠鎖定目標客戶和使用準備好獲得 AI 驅動解決方案的用例。這些將受益於 5G/6G 就緒，並且現在可以用於 AI。

3. 使用來自內部團隊和客戶用例的資料，在資料中心為內部和外部用例構建基於加速計算的集群。

隨著 LLM 驅動的應用和 AI 工作負載以前所未有的速度加速，電信公司需要重新思考管理 AI 流量的網路。NVIDIA 正在與軟體提供商和合作夥伴合作，在整個電信生態系統中映射 AI 工作負載，遷移到軟體定義模型，並優化加速計算架構。NVIDIA 還與電信公司密切合作，分享全球進展、協作開展創新專案，並歡迎新的合作夥伴加入這一旅程。