火山引擎通過與 NVIDIA 團隊合作開發了 BMF（Babit Media Framework）多媒體處理框架，提供豐富的 GPU 即用模組、低門檻的擴展方式、多語言接口以及各類主流框架 SDK 的簡單接入，方便用戶快速打造高效的全 GPU 視訊處理流水線，有效解決開發效率低、鏈結缺乏整體優化的問題，使得 GPU 能夠充分發揮其強大的並行計算能力，應用於各類視訊 AI 場景。
視訊成為企業數字化增長新動力
在當今人們的生活中，視訊化場景已經滲透到了方方面面。資料顯示，截至 2023 年 5 月，中國移動視訊行業整體用戶規模達到 10.76 億，月人均時長達到 64.2 小時。目前中國用戶量排名前 100 的 APP 中，有 69% 搭載了視訊類功能，視訊應用正在從內容、娛樂行業拓展至泛互聯網和大量傳統行業。
然而，與圖文內容相比，企業自建視訊應用對技術積累和資金成本要求較高。為此，火山引擎與 NVIDIA 團隊合作，開源了 BMF 多媒體處理框架。該框架是視訊化部署的「底座」，可為企業提供從視訊生產到消費的全鏈結場景支援，並幫助開發者低成本構建視訊應用。
從 GPU 加速圖像處理，到 GPU 上部署生成式 AI 業務
從圖像處理到視訊內容生成，需要應對日益複雜的處理環節。理想情況下，開發者應當充分利用 GPU 各種硬體單元，減少 GPU 和 CPU 之間的拷貝，讓視訊和圖片存留在 GPU；如果涉及跨節點通信，還需結合 GPU Direct RDMA 簡化通信鏈結，大幅降低延遲、提升吞吐。
但實際上，火山引擎視訊團隊遇到了不同模組之間通信不暢、整體性能不高等諸多問題。視訊處理涉及的技術棧越來越多，包括編解碼、圖像處理、深度學習甚至圖像渲染，用戶對延遲的要求也從以前的長時間等待變為短視訊的秒級延遲，甚至 VR/AR、雲遊戲的毫秒級延遲。
NVIDIA 加速火山引擎為視訊雲提供更理想的處理框架：BMF
面對這些挑戰，NVIDIA 和火山引擎緊密合作開發了 BMF，旨在幫助企業和開發者將各類視訊的原子能力與方案做到優勢互補、協同工作和快速落地。BMF 的整體架構分為 應用層、框架層、模組層和異構層 共 4 個部分：
應用層：為用戶提供多語言的 API，包括 Python、Go、C++
框架層：包括框架對 graph/pipeline 的調度、跨資料類型跨設備的資料流轉 backend、以及常用的跨設備 reformat、color space conversion、tensor 算子等 SDK
模組層：包含具備各種原子能力的模組，提供多種語言的模組開發機制
異構層：負責提供高效的視訊處理算力，包括火山引擎自研的視訊編解碼芯片 ASIC
火山引擎通過與 NVIDIA 團隊深入合作，針對 GPU 相關的框架層能力、處理能力進行了深度優化，從框架層和模組層對 BMF 都進行了深入改造，針對各種場景進行了開發和測試，並且貢獻了多種應用層示例。
廣泛的應用場景
通過 BMF 框架，在大型活動直播、電商直播間等場景中，通過「極致超清」技術能夠有效提升畫質體驗；針對不同損傷情況的經典影片，通過「AI 修復」技術能夠對損傷後的影片進行全面的畫質提升；在 VR/AR 等複雜圖像場景中，通過「VR 360 全景圖像技術」幫助圖像實現更加高清的效果。
火山引擎總裁譚待表示：「在營銷、空間、商業和知識的交互體驗都在發生變化的視訊化時代，視訊雲技術因其從視訊生產、處理、傳輸至消費的全鏈結技術能力被賦予了重要使命。隨著 AIGC、XR 等技術的興起，新技術與視訊雲的融合將帶來更多創新和價值。」
字節跳動視訊架構負責人、火山引擎視訊雲架構技術總監王悅表示：「BMF 框架是基於抖音多年實踐打磨出來的，火山引擎又攜手 NVIDIA 針對 GPU 相關能力進行了深度優化，使其能夠發揮更強大的並行計算能力。」
目前，BMF 已經全面開源，包含 BMF 框架層整體開源、9 個開箱即用案例、20+ API 調用範例，旨在幫助開發者低成本地構建視訊應用。
WeChat
Profile