愛奇藝自研“奇聲影視劇智能配音系統(tǒng)”獲評工信部“2024年新型數(shù)字服務優(yōu)秀案例”
2024年新型數(shù)字服務優(yōu)秀案例部分名單
愛奇藝具有自主知識產(chǎn)權的奇聲影視劇智能配音系統(tǒng)（以下簡稱“奇聲系統(tǒng)”），創(chuàng)造性地將AI應用于影視劇配音制作，可提升配音制作效率近6倍?，F(xiàn)階段，奇聲系統(tǒng)由智能配音預處理、智能多語種配音變聲和智能配音后期處理三大技術支撐，包含了多個AI算法模塊和豐富的功能模塊。使用該系統(tǒng)，既能一站式完成影視劇作品的配音，也可以通過各獨立功能來處理不同環(huán)節(jié)的需求。根據(jù)工信部申報要求，本次獲評案例不僅需要客觀真實、具有實效，還需具備創(chuàng)新性，可以為新型數(shù)字服務提供示范指引。同期入選案例還包括中國移動APP AI智能助理、滴滴助老打車等。
智能配音預處理技術對前期素材準備工作提效明顯，包括對多語種字幕進行角色拆分，為原始音軌進行智能分軌等。通過聲紋比對等技術手段，系統(tǒng)還能智能選取與原版角色最為相近的音色，讓角色配音更加“貼臉”。智能多語種配音變聲技術則以基于深度學習的語音轉換技術為核心，將單一的語音音軌轉換為多音色、多語種、多風格的語音音軌，讓配音員可以輕松變身任意目標角色，配音更具表現(xiàn)力。同時，該技術支持包括中文、泰語、越南語等多語種變聲，并針對各語種進行了專門訓練。在傳統(tǒng)制作流程中，為了達到影視劇上線的要求，配音完成后還需要制作人員對干聲進行后期處理以保證質量。奇聲系統(tǒng)的智能配音后期處理技術可以對音質、音量、音效進行快速處理，將制作人員從重復工作中解放出來。
據(jù)奇聲產(chǎn)研團隊負責人介紹，奇聲系統(tǒng)的技術核心是基于深度神經(jīng)網(wǎng)絡和大模型技術的Voice Conversion技術，該技術在近年來得到了一定程度的發(fā)展，但在影視劇這類高表現(xiàn)力場景的效果仍有待提高。愛奇藝在垂類場景的創(chuàng)新實踐，可以有效提升高表現(xiàn)力Voice Conversion的效果，取得了ICASSP、Interspeech、ASRU等6篇國際頂級會議論文，24項發(fā)明專利（含受理和授權）以及9項軟件著作權，一定程度上推動了該領域學術和技術的發(fā)展。
作為國內(nèi)代表性的網(wǎng)絡視聽新媒體平臺，愛奇藝深入影視劇內(nèi)容生產(chǎn)的各環(huán)節(jié)，持續(xù)挖掘以技術創(chuàng)新提質增效的空間。目前，奇聲系統(tǒng)已經(jīng)為超過300部海外電影制作了普通話配音版本，為50多部華語電影、800多集國劇制作了多國配音版本。在科技創(chuàng)新的助力下，影視劇配音工作日益智能化，有效縮短了出海國劇及引進內(nèi)容的上線時間，支持了更多好內(nèi)容“引進來、走出去”，進一步滿足了海內(nèi)外用戶的內(nèi)容消費需求。
隨著大語言模型和生成式AI的快速發(fā)展，內(nèi)容生產(chǎn)效率有望進一步提升，優(yōu)秀創(chuàng)意和卓越審美的重要性越發(fā)凸顯。愛奇藝首席技術官劉文峰曾公開表示，“現(xiàn)階段生成式AI產(chǎn)出的內(nèi)容創(chuàng)意性依然偏弱。內(nèi)容產(chǎn)業(yè)從業(yè)者在關注應用AI提升內(nèi)容生產(chǎn)效率的同時，還需更進一步去思考AI可以如何幫助專業(yè)內(nèi)容創(chuàng)作者提升創(chuàng)意水平。”為此，愛奇藝將自身龐大的影視資料數(shù)據(jù)與大模型結合進行訓練和微調，為影視產(chǎn)業(yè)場景開發(fā)生成式AI的垂類應用，以此支持更多創(chuàng)作者釋放創(chuàng)意。
標簽：
