聚焦：Dataloop 借助 NVIDIA NIM 加速 LLM 的多模態資料準備流程 NEWS DETAIL

在快速發展的人工智慧環境中，為大語言模型（LLMs）準備高品質資料集已成為一項嚴峻的挑戰。這直接影響到模型的準確性、性能，以及跨不同任務和領域生成可靠、無偏輸出的能力。

得益於 NVIDIA 與 Dataloop 的合作，我們正在正面克服這一障礙，徹底改變企業為 AI 應用準備和管理資料的方式。Dataloop 是 NVIDIA Inception 計劃的成員，該計劃旨在幫助各個階段的初創公司加速發展和業務增長 。

變革 AI 資料準備 

NVIDIA NIM 微服務 與 Dataloop 平台的集成標誌著在優化大型語言模型（LLMs）資料準備工作流方面取得了重大飛躍。這次合作使企業能夠高效處理大型非結構化資料集，簡化人工智慧驅動流程和 LLM 訓練的準備工作。

克服關鍵挑戰 

迄今為止，AI 團隊在為大型語言模型準備資料時面臨著兩個主要障礙

• 處理多模態資料集 ：資料類型 (包括視訊、圖像、音頻和文本) 多種多樣，每種類型都有其獨特的處理要求，因此創建一個連貫一致的準備流程極具挑戰性。

• 確保資料品質 ：非結構化資料集通常缺乏一致性和元資料，使得 AI 模型無法準確解釋內容。這會導致資料品質問題，需要大量的人工干預和資料準備技術（例如重複資料刪除和品質過濾），以便正確標記和組織。

為了克服這些挑戰，Dataloop 使用 NVIDIA NIM 高級推理功能，確保將非結構化資料集高品質轉換為人類資料，捕獲對 AI 應用至關重要的複雜行為。

雖然 NIM 微服務可在 GPU 層面加速推理，但 Dataloop 專注於簡化和自動化 NVIDIA 模型的部署過程。這樣可將部署速度提高 128 倍，相比傳統的容器化方法。

您不再需要處理大量下載或雲配置，只需拖放和運行 NIM 模型。通過 Visual Studio Code 進行實時調試，NIM 微服務可無縫實現生產就緒，消除了手動設置的複雜性，並實現高效的 AI 擴展。

Dataloop 是實現這一目標的框架 

此解決方案的核心是一個結構化框架，該框架將 Dataloop 平台與 NVIDIA NIM 推理功能無縫集成。這種集成使企業能夠輕鬆處理大型非結構化多模態資料集。

通過自動執行資料準備和結構化等複雜任務，Dataloop 消除了對深度基礎架構專業知識的需求，使組織能夠輕鬆擴展 AI 模型。該框架編排跨多個大型語言模型（LLM）的流程，確保以並行方式處理資料，並快速準確地準備好部署，從而使 AI 的採用比以往更快、更高效。

甚麼是 NVIDIA NIM？

NVIDIA NIM 微服務是一組直觀的微服務，旨在加速任何雲或資料中心的 生成式 AI 部署。NIM 支援各種 AI 模型，包括 NVIDIA AI 基礎模型、社區模型和自定義模型，可確保使用行業標準 API 在本地或雲端進行無縫、可擴展的 AI 推理。

NIM 微服務提供交互式 API，使您能夠更無縫地在 AI 模型上運行推理。這些 API 根據模型/模型系列打包為容器鏡像 (圖 2)。NIM 為自行托管的 GPU 加速微服務提供容器，用於跨雲、資料中心和工作站的預訓練和自定義 AI 模型。

NIM 使用 NVIDIA TensorRT -LLM 和 NVIDIA TensorRT 提供低響應延遲和高吞吐量。在運行時，NIM 微服務會為基礎模型、GPU 和系統的每種組合選擇最佳的推理引擎。NIM 容器還提供標準的可觀測性資料源，並內置支援在 NVIDIA GPU 上使用 Kubernetes 進行自動擴展。有關 NIM 的功能和架構的更多資訊，請參閱 NVIDIA NIM 文檔。

Dataloop 如何發揮作用？

企業會隨著時間的推移生成和收集大量不同的資料（視訊、圖像、文本和音頻）。這些資料在用於 LLM 訓練時可以提供重要的業務價值和運營效用。為了釋放這一價值，資料需要經過適當的準備和豐富，這些流程通常需要大量資源。

通過將 NVIDIA NIM 與 Dataloop 集成，企業可以簡化資料增強過程，確保資料以更快、更高效的速度為 AI 應用做好準備。

Dataloop 可輕鬆連接到不同的資料源，並準確處理數百萬個文件。Dataloop 平台與 NIM 微服務相結合，可加速 AI 工作流，降低開發成本，並使企業無需深度技術專業知識或複雜的基礎設施即可擴展 AI 計劃。

在深入探討管道機制之前，以下示例描述了兩個關鍵階段，它們處理從提取到轉換的所有工作。

• 資料提取和同步

• 資料結構和轉換

第 1 階段：資料提取和同步 

該工作流通過無縫集成儲存在任何主流雲平台（例如 AWS、Google Cloud、Azure 等）中的大型資料集啓動。Dataloop 編排資料流，支援對每個新文件進行實時標記和分析。

這種動態同步可確保資料集始終保持最新、可訪問，並為預處理和 AI 模型訓練做好準備，同時管道會動態擴展以處理資料大小和複雜性。

第 2 階段：資料結構構建和轉換 

提取資料後，下一個階段是對資料進行結構化和轉換，使其適合大型語言模型（LLM）。NVIDIA 在此階段的每個分支中都發揮著至關重要的作用。

通過使用 NeVA 等先進的 NIM 模型，管道將受益於更高的吞吐量和更低的延遲，從而顯著加快資料結構流程。這些優化允許企業並行處理更多的資料，從而縮短處理多模態資料集的 AI 專案的上市時間。

在此階段，Dataloop 會編排基礎 AI 模型，以管理各種資料類型的內容分類、標記和匯總等任務，從而確保高效且可擴展的資料準備。

易於集成 NIM 

NVIDIA 解決方案（包括 NIM 微服務）可通過 Dataloop 平台中的 NVIDIA Marketplace Hub 獲取，從而簡化和加速面向開發者的集成。這些預訓練的先進模型可立即使用，並可隨時部署在新的和現有的資料管道中。

借助直觀的即插即用功能，您可以繞過複雜的設置步驟，立即開始將 NIM 微服務用於 AI 專案。

深入瞭解結構化工作流程 

為了充分理解 Dataloop 與 NVIDIA NIM 集成的變革力量，必須瞭解該平台如何處理各種資料類型的結構化和豐富。每個工作流程都旨在解決不同資料格式的獨特特徵和挑戰，確保簡化、高效和準確的資料準備。

以下是 Dataloop 的資料增強管道如何優化不同資料格式的處理：

• 圖像

• 視訊

• 音頻

• 文本

圖像工作流程 

當圖像到達管道時， NVIDIA NEVA-22B NIM 微服務會立即對其進行處理。此模型能夠非常精確地識別圖像並自動為其添加註釋，從而檢測與獨特專案相關的特定對象、場景或元素。

當每個文件流經時，Dataloop 會自動將標注編入索引，並在平台的 資料管理部分 提供這些標注，以便於參考和進一步細化。

視訊工作流程 

視訊文件通過智能幀提取節點進入工作流，該節點通過檢測幀之間的運動變化來選擇關鍵幀。Dataloop 使用零樣本視訊子採樣技術來定位並僅提取最獨特的幀，而不是處理每一幀，從而減少處理時間和資源。

然後，這些選定的關鍵幀由 NEVA-22B 進行分析，其中應用於圖像的相同高精度標注現在用於視訊幀。結果是清晰、可操作的見解，可用於豐富資料集。在標注後，已處理的幀將索引到原始視訊文件，以確保所有內容在 Dataloop 中保持同步。

音頻工作流程 

音頻文件首先通過編碼器分類器節點進行分類，該節點使用 SpeechBrain 進行語言識別和自動語音識別（ASR）。

檢測到語言後，該節點會連接到 OpenAI 的 Whisper 進行轉錄，從而將口語轉化為文本。最後，Audio-to-Text 節點通過 LLM 將轉錄內容傳遞給 LLM，從而增強轉錄內容，LLM 會分析文本的準確性和一致性。

此過程可確保轉錄不僅正確，而且具有上下文意義，從而捕獲音頻的預期消息。然後，優化後的輸出將編入 Dataloop 平台的索引，然後將文本輸出傳遞到文本工作流，使資料可供進一步的 AI 處理。

文本工作流程 

文本工作流程從 LlaMA 3.1 NIM 微服務 開始，該微服務使用工具調用功能提取命名實體，從而精確識別諸如公司名稱、日期和地點等關鍵實體。

之後， NVIDIA EmbedQA-Mistral-7bv2 模型會創建語義嵌入，以捕獲文本的更深層次含義和上下文。最後，Upload-to-Audio 節點會確保所有已處理的文本資料都已正確索引，使整個過程循環進行。

管理 Dataloop 中的豐富資料 

對資料進行結構化處理後，豐富的資料集將儲存在 Dataloop 的 資料管理部分 中，這使得資料處理既直觀又高效。

無論文件類型如何，您都可以直接從資料集瀏覽器中對其進行可視化、探索，並 做出實時的資料驅動決策 。Dataloop 簡化了資料集的查詢、版本控制和管理，因此您可以自信地擴展，並確保每個資料都支援 AI，不會出現延遲或令人頭疼的問題。