借助加速乙太網路網路和網路儲存擴展企業 RAG

在生成式人工智慧中，機器不僅可以從資料中學習，還可以生成類似人類的文本、圖像、視訊等。檢索增強生成 (RAG) 是一種突破性的方法。

RAG 工作流程基於 大型語言模型(LLM)，可以理解查詢並生成響應。但是，LLM 存在局限性，包括訓練複雜性和缺乏當前 (有時是專有) 資訊。此外，當未根據特定資料進行訓練以回答提示時，它們往往會產生幻覺並合成事實錯誤的資訊。RAG 通過向 LLM 提供企業特定資訊來增強查詢，以幫助克服這些限制。

在本文中，我們討論了 RAG 如何助力企業為各種企業用例創建高品質、相關且引人入勝的內容。我們深入探討了擴展 RAG 以處理大量資料和用戶所面臨的技術挑戰，以及如何使用由 NVIDIA GPU 計算、加速乙太網路網路、網路儲存和 AI 軟體提供支援的可擴展架構來應對這些挑戰。

RAG 使企業能夠充分利用資料

典型的 RAG 工作流程使用 向量資料庫，這類資料管理系統專為執行相似性搜索而定制，用於儲存和檢索與查詢相關的企業特定資訊。

通過將 RAG 集成到其資訊系統中，企業可以利用大量內部和外部資料來生成具有洞察力的最新上下文相關內容。這種融合是一次重大飛躍，使企業能夠利用其資料和領域專業知識，為個性化客戶互動開闢新途徑，簡化內容創建，並提高知識用例的效率。

但是，在企業規模部署 RAG 會面臨一系列挑戰，包括管理數百個資料集和數千名用戶的複雜性。這就需要一個能夠高效處理此類大規模操作的處理和儲存需求的分布式架構。

要擴展此架構，您必須嵌入、向量化數百萬文檔、圖像、音頻文件和視訊並將其編入索引，同時還能適應每天嵌入新創建的內容。

另一個挑戰是確保交互式多模態應用程序的低延遲響應。由於需要集成資料企業應用程序以及結構化和非結構化資料儲存，因此需要實時處理和響應，而大規模實現這一目標可能具有挑戰性。

生成式 AI 的資料索引和儲存也構成了挑戰。

傳統企業應用可以壓縮資料並將其儲存以進行高效檢索，以支援索引和語義搜索，而基於 RAG 的資料庫可以擴展到比原始文本文件及其相關元資料大 10 倍以上。這將導致資料增長和儲存方面的重大挑戰。

為了獲得最佳結果，企業必須投資加速計算、網路和儲存基礎設施，這對於處理訓練和部署 RAG 模型所需的大量資料至關重要。

可擴展且高效的 RAG 推理

在 GTC 2024 上，NVIDIA 推出了 生成式 AI 微服務目錄，為開發者提供用於創建和部署自定義 AI 應用的企業級基礎模組。

企業可以將這些微服務用作創建 RAG 驅動的應用的基礎。通過將其與 NVIDIA RAG 工作流程示例相結合，您可以加快生成式 AI 應用的構建和產品化過程。

在本文中，我們使用多節點 GPU 計算推理、加速乙太網路網路和網路連接儲存對這些 RAG 工作流程示例進行基準測試。我們的測試結果表明，高性能網路和網路連接儲存可實現高效且可擴展的生成式 AI 推理，使企業能夠開發由 RAG 驅動的應用，在促進持續資料處理的同時，還可擴展到數千名用戶。

下圖顯示了包含兩個階段和資料管線的 RAG 工作流程。

在第一階段，資料提取將文檔和其他資料模式轉換為數字嵌入，然後在向量資料庫中對其進行索引。此過程支援基於相似度分數高效檢索相關文檔。

查詢階段從用戶輸入問題時開始，該問題也會被轉換為嵌入並用於在向量資料庫中搜索相關內容。檢索相關內容後，系統會將其傳遞給 LLM 進行進一步處理。原始輸入問題以及增強上下文會提供給 LLM，LLM 會針對用戶的查詢生成更精確的答案。

此工作流支援有效檢索和生成資訊，使其成為適用於各種企業應用程序的強大工具。

加速的乙太網路網路、網路連接的儲存擅長資料提取

我們最初基於單個 GPU 節點測試了資料提取流程。下圖顯示了使用一個配備 8 塊 A100 GPU 的 DGX 系統和一個專為對象儲存工作負載設計的網路連接全閃存儲存平台進行的測試設置。

DGX 系統通過 NVIDIA ConnectX-7 網路介面卡 使用加速的 NVMe-over-Fabrics (NVMe – oF) 和 Amazon S3 對象儲存協議，並由兩台 NVIDIA Spectrum SN3700 交換器連接。

我們使用 NeMo Retriever 微服務 對PDF文檔（包括文本和圖像）的嵌入和索引性能進行了比較。此次比較涉及DGX系統和網路連接儲存中的直連儲存（DAS）。

圖 3 顯示了單節點資料提取基準測試的結果。它顯示，與使用 DAS 相比，使用 Amazon S3 的網路連接儲存將資料提取速度提高了 36%，將處理時間縮短了 122 秒。這表明網路連接儲存是更好的資料提取選擇，同時還依賴於網路速度和延遲。

加速乙太網路網路對於提供穩健、高性能和安全的連接至關重要。除了增強文檔嵌入外，網路連接儲存還提供各種企業級資料管理功能。

然後，我們使用多節點 RAG 設置進行測試，該設置使用通過 NVIDIA BlueField-3 DPU 連接的分布式微服務架構，隨著多個節點並行運行，以上傳嵌入、計算索引並插入向量資料庫，性能也隨之提升。

我們比較了在每台伺服器中使用直接連接 SSD 與網路連接儲存的性能。對於伺服器內的 SSD，MinIO 充當對象儲存層。對於網路連接儲存，我們繞過 MinIO，測試了儲存系統自己的原生 Amazon S3 對象接口。

結果表明，多節點提供的性能比使用單節點更快，處理時間縮短了近 102 秒。這些結果證明瞭多節點 GPU 加速與企業級網路連接儲存相結合的性能優勢。

適用於 RAG 驅動型應用程序的網路連接儲存的優勢

聯網儲存支援通過網路訪問塊、文件和對象，而無需直接將儲存介質連接到伺服器。

聯網儲存不僅為基於 RAG 的應用程序提供了明顯的性能優勢，而且還提供了額外的企業優勢，使其成為增強自然語言處理的最佳資料平台。

適用於 RAG 工作流程的網路連接儲存具有以下優勢：

· 實時流資料提取：網路連接儲存支援從各種來源（例如社交媒體、網路、傳感器或物聯網設備）提取實時流資料。RAG 應用程序可以使用這些資料生成相關的最新內容。DAS 可能無法處理大量且快速的流資料，或者可能需要額外的處理或緩衝來儲存資料。

· 可擴展性：在不影響性能或資料可用性的情況下，通過添加更多磁盤或設備來擴展儲存容量更容易。相比之下，DAS 的可擴展性有限，可能需要停機或重新配置以進行儲存升級。

· 元資料標注：網路連接儲存支援使用元資料（例如標籤、類別、關鍵字或摘要）進行資料標注。RAG 應用可使用此元資料根據查詢或上下文檢索資料源並對其進行排名。DAS 可能不支援資料標注，也可能需要單獨的資料庫或索引來儲存元資料。

· 利用率：網路連接儲存（Network Attached Storage, NAS）可讓多個用戶和應用程序同時訪問相同的資料，從而優化儲存資源的利用率，而不會產生重複資料或衝突。相比之下，直接連接儲存（Direct Attached Storage, DAS）可能會導致儲存未充分利用或過度使用，具體取決於需求和特定伺服器內的資料分配。

· 可靠性：網路連接儲存通過使用高級獨立磁盤冗余陣列 (RAID) 功能或其他方法來保護資料免受磁盤故障、網路故障或斷電的影響，提高了可靠性和資料可用性。相比之下，直接連接儲存在磁盤或伺服器發生故障時，可能會丟失資料或損壞，因為 DAS 無法利用 RAID 或其他冗余技術。

· 刪除重復內容：網路儲存通過消除跨文件或設備的重復或冗余資料來減少儲存空間和網路頻寬。DAS 可能會儲存相同資料的多個副本，從而浪費儲存空間和網路資源。

· 資料來源引文：網路連接儲存（Network Attached Storage, NAS）可以提供資料的來源引用，例如 URL、作者、日期或許可證。RAG 應用程序（基於規則和知識的應用程序）可以使用這些資訊來對資料源進行屬性識別和驗證，並確保所生成內容的品質和可靠性。DAS（直接連接儲存）可能不提供資料來源引用，也可能需要手動或外部方法來跟蹤資料來源。

· 備份：連接網路的儲存通過使用快照、複製或其他方法在不同位置或設備上創建資料副本來促進資料備份和恢復。DAS 可能需要手動或複雜的備份程序，這可能很耗時或容易出錯。

· 資料保護和保留：網路連接儲存通過使用加密、壓縮或其他技術來保護資料免遭未經授權的訪問或修改，從而確保資料保護和保留。它還使用策略、規則或法規來管理資料生命週期，例如資料的創建、刪除或存檔。相比之下，直接連接儲存可能不提供資料保護和保留功能，或者可能需要額外的軟體或硬體來實現資料安全和治理。