借助視覺問答和多模態檢索推進神經科學研究 NEWS DETAIL

領先的醫療健康組織正在轉向生成式 AI，以幫助構建能夠帶來輓救生命影響的應用。這些組織包括印度理工學院 – IIT Madras 大腦中心 。為推進神經科學研究，IIT Madras 大腦中心正在利用 AI 生成不同人口群體的細胞層面的全人腦分析。

該中心使用視覺問答 (VQA) 模型和 大語言模型 (LLM) 開發了一種獨特的知識探索框架，使神經科學界更易於獲取腦成像資料。本文展示了關於人工智慧 (AI) 如何突破神經科學研究極限的概念驗證。通過構建融合 VQA 模型與 LLM 的多模態框架，該團隊找到了一種讓大腦成像資料更易於理解的方法。這種方法可幫助研究人員發現有關大腦結構和功能的新見解，為取得突破性進展奠定基礎，進而實現輓救生命的發現。

神經科學知識探索框架 

該知識探索框架利用神經科學出版物幫助研究人員將腦成像資料與最新的神經科學研究關聯起來。借助此工具，研究人員可以探索與特定大腦區域的大腦圖像和發現相關的近期進展，例如成像資料中顯示的特定狀況的原因。他們還可以跟蹤任何神經科學研究領域的現狀，並找到相關查詢的答案。

該框架的處理工作流由兩部分組成：

1. 提取： 將最新的神經科學出版物編入知識庫。

2. Q&A: 支援用戶使用查詢與知識庫進行交互。最新的神經科學出版物從公開可用的資料庫中下載，並在提取流程中進行處理。然後逐段提取文本。我們使用特定領域的微調嵌入模型（domain-specific, fine-tuned embedding model）為每個段落生成嵌入。然後將這些嵌入編入向量資料庫。

問答部分是一個 多模態檢索增強型生成（RAG） 工作流，可讓用戶與文本和圖像進行交互。本部分會過濾用戶輸入，以從所提供的文本中刪除任何不相干或有毒的內容。然後，使用結合語義和關鍵字相似性的混合相似性匹配方法檢索相關段落。檢索到的段落隨後使用重新排名模型進行排名。最後，將前兩個段落傳遞到語言模型中，以便生成答案。

視覺問答和多模態檢索

用戶可以使用大腦區域的圖像與框架進行交互，並詢問有關所顯示圖像的問題。該框架採用最新的 VQA 模型（如 Llava-Med）來提供答案。此外，該框架還支援檢索基於給定圖像或文本的類似圖像。這部分流程仍處於開發階段，需要進一步優化。

使用 NVIDIA 技術克服研究挑戰

NVIDIA 技術堆棧為知識庫框架的處理管道提供支援。我們已使用各種 NVIDIA 工具和框架來確保此管道的可靠性和性能。開發流程的多個部分帶來了幾個挑戰，所有這些挑戰都借助 NVIDIA 技術成功解決。

提高檢索準確性 

該框架包括以神經科學出版物為中心的專門知識庫。由於通用嵌入模型（generic embedding models）最初並未基於此類資料進行訓練，因此需要進行微調以提高檢索準確性。大規模手動創建微調資料集極具挑戰性，需要神經科學專家提供意見，因此合成資料集是使用大語言模型（LLM）生成的。為了支援大規模資料集開發，快速的 LLM 推理至關重要；Mixtral 8x 7B NVIDIA NIM 微服務用於提高推理速度。對嵌入模型進行微調後，前兩個結果的檢索準確率提高了 15.25%。

NVIDIA NeMo Retriever 是一套用於資訊檢索的 NIM 微服務，進一步提高了檢索準確性。使用 nv-rerank-qa-mistral-4b_v2 NIM 微服務對檢索到的段落進行重新排序，將前 2 名檢索準確率再提高 15.27%。

用戶輸入過濾 

為了確保用戶僅可獲取相關內容，IIT Madras 的研究人員使用 NVIDIA NeMo Guardrails 進行過濾。他們使用 Llama Guard 2 8B 語言模型實現了用戶輸入守護，並針對神經科學開發了定制提示。該提示使用 公共毒性聊天資料庫 進行了測試，以評估其阻止不相關問題的能力，並使用神經科學特定問題進行了評估，以確認其接受了相關問題。結果顯示：

• 38% 的有毒內容被默認提示阻止

• 68% 的有毒內容被自定義提示阻止。

• 98% 的神經科學特定問題被自定義提示符接受（基於自定義資料集）。

生成答案的推理速度 

由於多個用戶同時訪問系統，因此在合理時間內生成答案極具挑戰性。這一挑戰通過在 NVIDIA DGX A100 伺服器上運行 LLama 3.1 70B NIM 得以克服。在 NVIDIA DGX A100 伺服器上使用 LLama 3.1 70B NIM，推理速度比自定義開發的推理代碼快 4 倍。

用於多模態 PDF 提取的 NVIDIA AI blueprint 

最近推出的用於多模態 PDF 資料提取的 NVIDIA AI blueprint 可用於從神經科學出版物中準確提取相關資訊，並有可能連接到上述檢索管道。

此工作流旨在幫助組織準確提取 PDF 文檔中包含的知識，這是儲存出版物和研究資訊的常見形式。NVIDIA 創建了一個 RAG 模型，該模型使用 NeMo Retriever NIM 微服務來解析 PDF，其中包括文本、圖像、圖表、表格、繪圖和其他圖表。

NVIDIA blueprint 提供了使用 NVIDIA NIM 和合作夥伴服務構建的示例應用，以及用於部署的參考代碼、自定義指南和 Helm 圖表。這些藍圖為科學開發者使用功能強大的 NVIDIA AI 工具構建自己的應用提供了一個良好的開端。它們非常靈活，可以根據研究專案進行調整和擴展，使開發者能夠為複雜的生物醫學文獻評審任務創建複雜的工作流。

示例 

本節展示了視覺問答和圖像到圖像檢索的示例，並展示了如何將這些大型語言模型（LLM）技術應用於神經科學研究。第一個示例說明瞭視覺問答如何從輸入圖像中識別特定的大腦區域。其他示例展示了如何通過比較組織切片的顯微圖像來實現圖像到圖像的檢索，同時強調了根據視覺特徵檢索類似樣本的能力。

視覺問答示例#1 

圖 3 是視覺問答示例的輸入圖像。

問題 ：圖像中的大腦區域是甚麼？ 答案 ：圖像中的大腦區域是小腦，是大腦的一部分，在運動控制、協調和平衡方面發揮著重要作用。

視覺問答示例#2 

圖 4 是第二個視覺問答示例的輸入圖像。

問題 ：此圖像顯示的是額葉皮層嗎？ 答案 ：是的，圖像顯示的是額葉皮層，這是大腦的一個區域。

圖像到圖像檢索示例#1 

圖 5 並排顯示組織切片的兩張顯微圖像。左側圖像顯示的是帶有紫色染色和一些結構細節的輸入組織樣本，右側圖像顯示的是檢索到的外觀相似的組織樣本，具有類似的染色和形狀，展示了圖像到圖像的檢索。

圖像到圖像檢索示例#2 

圖 6 並排顯示了兩張腦組織切片的顯微圖像。左圖顯示的是染色為紫色的輸入樣本，其中有明顯的淺色和深色紋理以及一些細長、淺色的條紋。右圖顯示的是檢索到的組織樣本，其整體形狀、染色和紋理模式類似，用於演示圖像到圖像的檢索。

總結 

IIT Madras 大腦中心以及 NVIDIA 加速計算和 AI 技術 —— 包括 NVIDIA NeMo、NVIDIA NIM、NVIDIA AI 藍圖和 NVIDIA DGX —— 正在推動神經科學研究的發展，為瞭解大腦結構和功能開闢新的途徑，並加速可能導致輓救生命的發現。