Block推Dessa全雙工語音AI 純語音訓練模擬真人對話 - OwlNews

圖／示意圖商傳媒｜林昭衡／綜合外電報導美國金融科技公司Block,Inc.日前宣布推出名為Dessa的新型全雙工語音人工智慧模型。這款模型僅透過人類對話進行訓練，旨在達成更自然、更具情感的人機語音互動。Dessa的核心優勢在於其「全雙工」（full-duplex）特性，意即它能像人類一樣，在說話的同時也能聆聽對方。該模型直接以語音作為輸入和輸出（audioin,audioout），與傳統語音AI先將語音轉換為文字再處理的方式不同。Block聲明，Dessa是從零開始、完全透過聆聽真實對話學習，因此能理解對話中的情感、語氣，甚至在適當時機插入回應或發出表示理解的聲音。根據《Unite.ai》報導，Dessa在沒有任何文字或預訓練模型的輔助下，學會了何時打斷、何時做出反應，甚至能捕捉情緒、諷刺、笑聲乃至沮喪的嘆息。Block旗下的AI研究實驗室主管RagavanThurairatnam形容Dessa的問世，是語音領域的「GPT3時刻」。Dessa的推論速度比即時通話更快，能有效避免對話中的尷尬停頓。該模型甚至可以在如MacBookProM4Max等消費級顯示卡上本地運行。為展示其能力，Block分享了多段Dessa與人類的對話錄音，例如在一段對話中，Dessa曾誤將對話者稱為巴西足球明星羅納爾多；而在與OpenAI的GPT-Live-1語音模型對話時，Dessa則展現出更自然的語音表現，並提及克里斯多福·諾蘭與布萊恩·辛格的電影。Block指出，開發Dessa是基於對AI對話能力的探索、改善人機溝通理解，以及解決語音AI安全性的考量。目前的語音AI系統常會將語音轉換為文字處理，進而流失聲音所攜帶的豐富情感資訊。目前Block已開放Dessa的公開等候名單，並提供早期存取權限給AI安全研究人員，期盼能進一步推動語音AI的發展。