業務目標
明確要解決的性能、擴容、穩定性、覆蓋、互連或運維問題，並確認上線優先級。
利用檢索增強生成（RAG）技術快速開發解決方案，助力問答 LLM 工作流程，由此催生出新型系統架構。NVIDIA 將 AI 用於內部運營，並在系統功能與用戶期望之間取得了多項重要發現。
研究發現，無論預期的範圍或用例如何，用戶通常都希望能夠執行非 RAG 任務，例如執行文檔翻譯、編輯電子郵件甚至編寫代碼。一個普通的 RAG 應用程序可能會這樣實現：對每個消息執行檢索管道，從而導致令牌的過度使用，並由於包含不相關的結果而導致不必要的延遲。
研究還發現，即使應用程序專為訪問內部私有資料而設計，用戶也非常喜歡訪問 Web 搜索和摘要功能。我們使用 Perplexity 的搜索 API 來滿足這一需求。
NVIDIA NIM 微服務及其 LlamaIndex 連接器使開發具有自我管理或托管 LLM 的 LLM 應用變得輕而易舉。Chainlit 和 LlamaIndex Workflow 事件因其共享的事件驅動架構而完美契合，因此可以輕鬆為用戶界面提供有關 LLM 響應的完整追蹤資訊。
LlamaIndex Workflow 處理過程
LlamaIndex Workflow events 通過其事件驅動、基於步驟的方法來控制應用程序的執行流程，準確地提供了我們所需的解決方案。我們發現，將應用程序擴展為 Workflow events 要容易得多，速度也更快，同時仍保留關鍵的 LlamaIndex 功能，例如必要時的向量儲存和檢索器。下圖為 Workflow 事件流程。
LlamaIndex Workflow 處理過程
LlamaIndex Workflow events 通過其事件驅動、基於步驟的方法來控制應用程序的執行流程，準確地提供了我們所需的解決方案。我們發現，將應用程序擴展為 Workflow events 要容易得多，速度也更快，同時仍保留關鍵的 LlamaIndex 功能，例如必要時的向量儲存和檢索器。下圖為 Workflow 事件流程。
LlamaIndex Workflow 功能與特點
1. 資料攝取：
· 資料連接器： LlamaIndex 提供到各種資料源的連接器，如資料庫、API、文件等，允許用戶輕鬆地將資料攝取到工作流程中。
· 文檔解析： 提供解析不同文檔格式的工具，以便為索引和查詢做好資料準備。
2. 索引：
· 資料索引： 資料攝取後，LlamaIndex 將資料以一種大型語言模型可以高效處理和查詢的方式進行索引。這包括創建嵌入，即捕捉文本語義含義的向量表示。
· 自定義索引結構： 用戶可以定義自定義索引結構或使用預構建的索引結構，以優化不同類型的查詢。
3. 查詢：
· 查詢引擎： 一個理解如何從索引資料中檢索相關資訊的查詢引擎。它可以使用相似性搜索、關鍵詞搜索或更高級的檢索技術。
· 語境搜索： 能夠執行語境相關的搜索，利用大型語言模型的語義理解。
4. 與LLMs的集成：
· 提示工程： LlamaIndex Workflow 促進提示工程，用戶可以設計提示來引導LLM的響應，增強特定任務的模型輸出。
· 響應生成： 工作流程與LLMs集成，以基於索引資料和用戶查詢生成響應。
5. 應用開發：
· API和SDK： 提供開發者可以用來將LlamaIndex功能集成到其應用程序中的API和SDK。
· 端到端解決方案： 幫助構建從資料攝取到提供基於該資料的答案或見解的端到端應用。
6. 優化和性能：
· 緩存： 為了提高性能，LlamaIndex 可以緩存結果或中間步驟，以避免重復計算。
· 並行處理： 支援並行處理以同時處理大資料集或多個查詢。
7. 可擴展性：
· 插件和擴展： 用戶可以通過插件或自定義擴展來擴展LlamaIndex的功能，允許進行專業任務或與其他工具集成。
使用場景：
· 知識檢索： 從龐大的資料集或文檔庫中快速查找資訊。
· 聊天機器人和虛擬助手： 通過提供基於大知識庫的理解和響應能力，增強對話代理。
· 資料分析： 通過提供見解或總結大量文本資料來協助資料分析。
· 教育和研究： 通過提供相關文獻或資料來支援研究。
LlamaIndex Workflow
對於希望利用大型語言模型來處理需要從複雜資料集中深入理解和檢索資訊的任務的組織或個人特別有用。它旨在填補原始資料與LLMs能力之間的差距，使得利用AI進行資訊檢索和分析變得更容易。
WeChat
Profile