自動音頻字幕 (Automated Audio Captioning) 任務的核心是從音頻輸入中生成自然語言描述。鑒於輸入 (音頻) 和輸出 (文字) 之間的不同模式，AAC 系統通常依靠 audio encoder 從聲音中提取相關資訊，表示為 feature vectors，然後 decoder 用於生成文本描述。
這一研究領域對於開發使機器能夠更好地解釋周圍聲學環境並與之交互的系統至關重要。意識到其重要性的 Detection and Classification of Acoustic Scenes and Events（DCASE）社區自 2020 年以來舉辦了年度 AAC 競賽，吸引了全球超過 26 個學術界和行業的團隊參加。
通過採用多個音頻編碼器來增強編碼器-解碼器架構。
使用基於 LM 的任務激活提示來豐富資訊的後期編輯。
這種架構通過使用不同粒度的編碼器提高了系統捕獲各種音頻特徵的能力。多編碼器方法使我們能夠向解碼器提供更豐富、更互補的資訊，從而顯著提高性能。
卡內基梅隆大學（CMU） 語言技術研究所 （LTI）的 Shinji Watabe 教授說：「這是一個很酷的方式，展示了我們的團隊與開源研究人員合作，為音頻和語言理解社區的進步做出的貢獻。」
多 agent 協作以提升性能
我們的方法最具創新性的方面之一是不同編碼器模型之間的多智能體協作，事實證明這是提高性能的關鍵因素。通過集成具有不同粒度的多個編碼器（例如 BEAT 和 ConvNeXt ），我們實現了音頻功能的更大覆蓋範圍。
這種融合編碼器的策略與多模態 AI 研究的近期突破性成果有相似之處，例如 MERL 和 CMU 的 2023 解決方案 ，其中結合不同的 agents ——每個 agent 專門處理任務的不同方面——可產生出色的結果。
在我們的系統中，我們採用了與那些論文中使用的概念類似的編碼器融合策略，使我們能夠利用每個編碼器的優勢。我們進一步考慮了基於文本假設的豐富性，包括近期 ACL 2024 中的 GenTranslate 和 NVIDIA Research 在 Taiwan 的 EMNLP 2024 中的 Generative Image Captioning ( GIC ) 評估，這些工作可實現描述豐富度自定義。例如，GenTranslate 和 GIC 均展示了多種語言模型如何協同提高跨語言語音翻譯的準確性，而 GenTranslate 則強調了多代理系統在生成式語音翻譯任務中的效率。
這兩個示例都強調了為複雜任務集成互補模型的價值，同時強化了我們的方法顯著提高 AAC 性能的潛力。我們介紹了如何在基於 GPU 的預訓練流程和後編輯流程中使用核心技術。
借助 NVIDIA DGX 和 NVIDIA OVX 平台，先進的 NVIDIA 計算機技術，例如 Taipei-1 ( 全球 500 強中排名第 38 位的超級計算機集群 )，在加速這一先進的探索和研究開發方面也發揮了重要作用。
模型背後的核心聲學建模技術
我們的系統架構受到 CMU 和 MERL 去年的獲獎開源模型 的啓發，並引入了一些改進：
多編碼器融合 ：我們採用兩個預訓練音頻編碼器（BEATs 和 ConvNeXt）來生成互補的音頻表示。這使得解碼器能夠處理更廣泛的特徵集池，從而獲得更準確、更詳細的字幕。
多層聚合 ：不同的編碼器層捕獲輸入音頻的各個方面，通過聚合所有層的輸出，我們進一步豐富了輸入解碼器的資訊。
生成式字幕建模 ：為了優化自然語言描述的生成，我們應用了基於 大語言模型(LLM) 的摘要過程，這與 RobustGER 中使用的方法類似。此步驟將多個候選描述整合為一個流暢的輸出，使用 LLM 確保描述的語法一致性和類似人類的感覺。
多智能體協作通過音頻、文本和 LLM 集成
除了多編碼器架構之外，我們還開發了一種新的多智能體協作推理管道。近期的研究顯示了在 AAC 任務中進行 nucleus sampling 的優勢，因此我們改進了傳統的 beam search 方法。
我們的推理流程遵循一個三階段管道：
基於 CLAP 的字幕過濾 ：我們生成多個候選字幕，並使用 Contrastive Language-Audio Pretraining (CLAP) 模型過濾相關性較低的字幕，從而將候選字幕的數量減半。
混合重排名 ：然後使用我們的混合重排名方法對其餘標題進行排名，以選擇排名靠前的 k 個最佳標題。
LLM 總結 ：最後，我們使用任務激活 (即 [conditional prompt] do you know audio captioning?) LLM 將 k-best 描述總結為單個連貫的一致的描述，確保最終輸出捕獲音頻的所有關鍵方面。
這種新型推理工作流利用了音頻處理和語言建模的優勢，顯著提高了模型在上下文中準確描述的能力，將文本解碼為下游文本代理的特徵圖形式。
影響和性能
我們的多編碼器系統的 Fluency Enhanced Sentence-BERT Evaluation (FENSE) 評分為 0.5442，優於基準評分 0.5040。通過整合多 agent 系統，我們為進一步改進 AAC 任務開闢了新的途徑。
未來的工作將探索集成更先進的融合技術，並研究專業代理之間的進一步協作如何提高生成的描述的粒度和品質。
我們希望，我們的貢獻能夠激發我們對多智能體 AI 系統的持續探索，並鼓勵其他團隊採用類似策略來融合各種模型來處理複雜的多模態任務，如 AAC。
使用 NVIDIA 的 GPU 技術實現性能和可擴展性
得益於多編碼器融合和 LLM-driven summarization 之間的協同作用，我們的解決方案在語義理解分數方面比其他參與者高出（相對）10%以上。這一成功凸顯了多代理、多模態系統在推進通用理解方面的潛力。
使用基於 LLM 的多對一文本校正是此過程中的一項關鍵創新，使模型能夠更好地利用文本建模代理的計算能力。這方法檢索和優化嵌入音頻中的隱藏資訊，從而提高系統的整體性能。
這種方法基於 NVIDIA 在多模態 AI 領域的先進工作成果，例如擅長多語種語音和文本翻譯的 GenTranslate 模型。同樣，我們最近的 Audio Flamingo 專案、 Synthio 專案以及 NVIDIA 應用深度學習研究 （ADLR）的 資料集 也展示了先進的音頻編碼器預訓練技術的強大功能。
文章轉載於nvidia.com，如有侵權，聯繫刪除。
WeChat
Profile