近日，字節跳動旗下火山引擎視頻云宣布其自研的視頻編解碼芯片已成功出片。與具備通用計算能力的CPU芯片相比，該自研芯片僅支持視頻編解碼任務，在特定場景具備更高的計算密度。

另外，此次火山與NVIDIA的合作主要是通過NVIDIA GPU進行算力方面的協調與調度，同時合作開源BMF（Babit MultiMedia Framework）多媒體處理框架，通過由CPU、GPU以及視頻編解碼專用芯片等組成的異構計算資源底層，支撐上層，提升復用與效率，降低網絡視頻服務的計算、存儲及傳輸帶寬成本。

牽手英偉達GPU布局框架平臺

(相關資料圖)

在架構關系上，BMF異構層包括了CPU、CUDA、FPGA，以及字節此次自研的ASIC算力。再之上分別是包括視頻編解碼在內的模塊層、框架層，以及應用層。

視頻自研芯片與BMF框架的誕生基于當下視頻化逐漸普及的趨勢。火山引擎總裁譚待表示，視頻數據量呈爆發式增長，應用場景也在不斷拓展。初心資本合伙人許旸洋認為視頻正吞食一切是當下大的趨勢，而視頻化的形式將變得更加平民化，每個人都可以是視頻創作者，視頻大量出現倒逼底層技術升級。

NVIDIA開發與技術部門亞太區總經理李曦鵬對記者表示，此次火山引擎與NVIDIA的合作主要是指新的視頻處理框架。過去的視頻處理主要通過FFmpeg（一種命令行工具，用來對視頻文件轉換格式），后者方式主要包括調用C + + 的API，以及命令提示。但在視頻復雜實時交互的編輯需求下，FFmpeg很難與現有AI應用連接起來。目前該框架主要面向開發者群體，會令過去使用FFmpeg等AI框架進行視頻處理的開發者受益，也利于更多的創新誕生。

談及此次與火山在BMF框架方面的合作，NVIDIA 高級計算專家王曉偉對記者表示，NVIDIA對框架進行了深度改造，增強框架的GPU親和力，在框架層面提供更多的GPU加速能力，改進了BMF對FFmpeg CUDA filter的支持，添加GPU數據格式轉換以及實現BMF與其他深度學習框架和SDK的數據兼容，這些特性可以方便開發者更快地在GPU上定制所需的BMF模塊，從而快速響應業務需求，使用BMF搭建GPU流水線。

同時，NVIDIA還提供了許多精細優化的BMF模塊，這些模塊可以做到開箱即用，并且作為示例向開發者展示如何高效地開發 BMF GPU 模塊。如BMF中的人臉識別示例使用 NVIDIA TensorRT（一種高性能深度學習推理優化器和運行時加速庫）對模型推理進行加速，并且調用 CV-CUDA （NVIDIA開發的專用于構建加速型端到端計算機視覺和圖像處理管道的開源項目）進行模型后處理，完整地展示了如何在 GPU 上使用 BMF 開發一個CV流水線及相關GPU模塊。

王曉偉對記者表示，BMF能夠提供簡潔易用的跨語言接口、靈活的調度和擴展性，以模塊化的方式動態擴展、管理和復用視頻處理的原子能力；而現有的常用框架基本都存在著語言接口單一，調度擴展不靈活以及開發門檻高等問題，限制了 AI 時代下業務場景的進化。

通過硬件創新緩解算力瓶頸

此次火山并未具體透露自研視頻芯片的具體代工廠等信息，字節跳動視頻架構負責人火山引擎視頻云架構技術總監王悅表示，此次推出火山引擎自研視頻編碼芯片，可以使一臺芯片服務器的轉碼能力相當于百臺CPU服務器的算力；壓縮效率比行業主流硬件編碼器提升30%+。據此將單個視頻的計算、存儲和傳輸的邊際成本達到平衡。

另外，王悅表示，該芯片支持ASIC算力，是一種比較折中的算力資源，吞吐雖然差一些，但其優勢是可擦寫、更靈活，能夠完成漸進迭代，也為火山ASIC方案提供了先行驗證。

目前火山視頻云的圖片和動圖轉碼服務都跑在FPGA上，部分點播、直播服務里也在使用FPGA。此外，王悅表示，火山還有ARM板卡陣列，這個方案本來是用來支持云游戲、云手機等場景需求而研發的，火山把編轉碼和處理引擎在ARM指令集上深度集成和優化之后，經過大規模實測發現這種算力資源在密度、成本方面相較X86服務器也有很大優勢，因此也在點播場景里不斷提升這種資源的使用量，做到與云游戲等場景的并池降本。王悅稱目前最新一代板卡已經支持開源大模型llama2。

對視頻芯片的自研投入早已在海內外大廠內進行，2016年，時任谷歌云計算副總裁的帕塔·蘭加納坦（Partha Ranganathan ）向時任YouTube 副總裁 Scott Silver 申請視頻芯片項目。2021年，YouTube 披露自研視頻芯片Argos的進展。今年，Facebook 母公司Meta首度公開了其自研 AI 芯片的進展，可以支持其最近推出的廣告設計和創作工具的生成式 AI技術。

2022年，騰訊公布自研視頻轉碼芯片“滄海”于2022年3月5日流片。2022年8月，快手宣布研制出云端智能視頻處理SoC(System on Chip)芯片SL200。火山引擎方面人士對記者表示，不同平臺的視頻自研芯片適用于各自不同的業務場景，火山自研視頻芯片對內主要服務于抖音業務。

火山引擎視頻云架構技術總監王悅認為，“視頻編碼每升級一代，質量碼率減少50%，但大規模的視頻數據量增長不止2倍，視頻編碼標準的迭代速度已經追趕不上視頻數據量的增長速度，必須通過硬件創新來突破算力瓶頸”。

標簽：