Meta發表首個能同時接受語言及文字輸入的聲音生成模型Audiobox
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p>Meta上周<a href="https://ai.meta.com/blog/audiobox-generating-audio-voice-natural-language-prompts/" target="_blank">發表</a>可讓用戶使用語音及文字指令生成音效及語音的最新AI模型Audiobox。</p> <p>Meta今年6月發表<a href="https://www.ithome.com.tw/news/157419" target="_blank">Voicebox</a> AI模型,可應用在語音生成、去噪、採樣和內容編輯等各式語音任務,不限定特定應用場景且具高效能。Audiobox則是Voicebox的後一代模型,以Voicebox框架為基礎開發。Audiobox能生成各種環境及風格的語音、音效或聲音地景(soundscape),新模型整合生成和編輯能力,以及多種輸入機制,以擴大不同應用場景的控制能力。</p> <p>Audiobox承襲了Voicebox的引導聲音生成訓練目標,以及音流比對(flow-matching)建模方法,以支援聲音填充(audio infilling),以生成或修飾音效,例如在下雨聲音地景加入雷聲。使用者可運用自然語言文字提示描述想要的聲音或語音類型。用戶可輸入「潺潺流水、鳥兒啾啁」的文字提示生成聲音地景,或是以「高聲快節奏講話的年輕女性」生成人聲。該模型還讓使用者輸入人聲及文字提示,以合成任何環境(如教堂)或任何情緒(如哀痛而緩慢)的一段說話。Meta認為Audiobox是第一個可接受語音及文字描述來改造聲音的模型。</p> <p class="rtecenter"><a href="https://video.ftpe7-2.fna.fbcdn.net/v/t39.25447-2/406365519_381976304228906_2408301710998785958_n.mp4?_nc_cat=109&vs=1119c13908f1acf0&_nc_vs=HBksFQAYJEdFX2xPQmdxR3UzSloxc0JBS1pQREh5bEFXd2hibWRqQUFBRhUAAsgBABUAGCRHRXQyTnhpVFd0aHZqaTBEQUZrcEo4dE1aLXBNYnY0R0FBQUYVAgLIAQBLB4gScHJvZ3Jlc3NpdmVfcmVjaXBlATENc3Vic2FtcGxlX2ZwcwAQdm1hZl9lbmFibGVfbnN1YgAgbWVhc3VyZV9vcmlnaW5hbF9yZXNvbHV0aW9uX3NzaW0AKGNvbXB1dGVfc3NpbV9vbmx5X2F0X29yaWdpbmFsX3Jlc29sdXRpb24AHXVzZV9sYW5jem9zX2Zvcl92cW1fdXBzY2FsaW5nABFkaXNhYmxlX3Bvc3RfcHZxcwAVACUAHIwXQAAAAAAAAAAREQAAACbAvfGo5t6DBhUCKAJDMxgLdnRzX3ByZXZpZXccF0A3VT987ZFoGCFkYXNoX2dlbjJod2Jhc2ljX2hxMl9mcmFnXzJfdmlkZW8SABgYdmlkZW9zLnZ0cy5jYWxsYmFjay5wcm9kOBJWSURFT19WSUVXX1JFUVVFU1QbCogVb2VtX3RhcmdldF9lbmNvZGVfdGFnBm9lcF9oZBNvZW1fcmVxdWVzdF90aW1lX21zATAMb2VtX2NmZ19ydWxlB3VubXV0ZWQTb2VtX3JvaV9yZWFjaF9jb3VudAUxMTczORFvZW1faXNfZXhwZXJpbWVudAAMb2VtX3ZpZGVvX2lkDzMxNjIxNTQyNzg5NjM2NRJvZW1fdmlkZW9fYXNzZXRfaWQPMjM2OTgyNDk1OTMwMTAzFW9lbV92aWRlb19yZXNvdXJjZV9pZBAxNjk3MDc1NTcwODE0ODE2HG9lbV9zb3VyY2VfdmlkZW9fZW5jb2RpbmdfaWQQMTA1MDAyNDQ5NjE0NTQ4OQ52dHNfcmVxdWVzdF9pZAAlAhwAJb4BGweIAXMENjMxNAJjZAoyMDIzLTExLTI5A3JjYgUxMTcwMANhcHAG5b2x54mHAmN0CFVOTElTVEVEE29yaWdpbmFsX2R1cmF0aW9uX3MFMjMuMzYCdHMVcHJvZ3Jlc3NpdmVfZW5jb2RpbmdzAA%3D%3D&ccb=1-7&_nc_sid=4a9f44&efg=eyJ2ZW5jb2RlX3RhZyI6Im9lcF9oZCJ9&_nc_ohc=KEdKD955B5IAX8RHbMD&_nc_ht=video.ftpe7-2.fna&oh=00_AfDJcz5MMLGI23kY68pMflJSrv01YLf5RrIqcvyhhVoM6g&oe=657209C2&_nc_rid=958833612379490&_nc_store_type=0" target="_blank"><img alt="" src="https://s4.itho.me/sites/default/files/images/1204-Audiobox%20Meta-600-1(1).jpg" style="width: 600px;" /></a></p> <p>經過Meta測試,顯示Audiobox在音質及相關性(切合文字描述的程度)都超越了現有最佳的聲音生成模型如AudioLDM2、VoiceLDM及TANGO。</p> <p>Meta解釋,生成高品質聲音需要有大量音訊庫及深厚的領域知識,如聲音工程、後製、語音表演等,但大眾和消費者都不會有這些資源。他們推出這個模型,相信未來可降低聲音生成的門檻,讓任何人都更容易製作影片或podcast、電玩或其他應用場景的音效。</p> <p>Meta即將準備讓特定研究人員及學者專家試用Audiobox,測試模型品質及安全倫理性。再過幾周將透過<a href="https://ai.meta.com/research/audiobox_responsible-generation-grant/" target="_blank">申請網頁</a>開放申請試用。</p> <p>Audiobox是Meta發表的AI研發成果之一。為慶祝AI研究中心FAIR成立十周年,Meta還公佈翻譯模型Seamless Communication。此外,Meta也宣布即將公開影像學習及多模感知模型的基礎訓練資料集<a href="https://ai.meta.com/blog/ego-exo4d-video-learning-perception/" target="_blank">Ego-Exo4D</a>。Ego-Exo4D是Meta開發VR眼鏡<a href="https://www.ithome.com.tw/news/140039" target="_blank">Project Aria</a>並和學界合作的成果,主體為<a href="https://ego-exo4d-data.org/" target="_blank">以人為中心(egocentric)及外心(exocentric,由鏡頭環視周遭場景)的資料集</a>,兩種角度能提升AI模型學習人類技能的能力。這批資料包含1,400小時影片及基準模型,將供研究社群使用。</p> </div></div></div>