AI趨勢周報第206期:Salesforce新演算法可逆推擴散生成模型,編輯圖像更貼切
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p><span style="color: rgb(0, 0, 255);">重點新聞(0113~0119)</span></p> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);">Salesforce </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 擴散模型 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 文字轉圖像 </span></strong></span></p> <p><span style="font-size: 22px;"><strong>Salesforce新演算法可逆推擴散生成模型,改字也能準確貼近原始圖</strong></span></p> <p>Salesforce最近設計一款新演算法EDICT,可逆推任何文字轉圖像的擴散模型,就算原始文字提示有所修改,新生成的圖像依然貼近原圖,比如使用者將文字提示「站在衝浪板上、穿著救生衣的狗」中的狗改為貓,新生成的圖片能保留原圖樣貌,只將狗轉換為貓。</p> <p>團隊表示,EDICT之所以能這麼做,是因為追蹤了一對中間表徵,而非只是一個。這種可逆性,讓模型產出非常貼近原圖的編輯圖像。Salesforce也把這套演算法用於熱門的Stable Diffusion模型,發現演算法能高保真重建出原始圖像。 而且,團隊以MS-COCO這類複雜的圖像資料集測試發現,EDICT的圖像重建表現,比降噪擴散隱性模型要好。</p> <p>團隊表示,EDICT不需要訓型訓練或微調,也不需要額外的訓練資料,而且能與任何預訓練降噪擴散模型整合。EDICT程式碼已在GitHub上<a href="http://github.com/salesforce/EDICT">公布</a>。<a href="https://blog.salesforceairesearch.com/edict-accurate-text-guided-image-editing-with-diffusion-models/">(詳全文)</a></p> <p><img alt="" src="https://blog.salesforceairesearch.com/content/images/size/w1000/2022/12/dog-breed-edict.png" /></p> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 文字轉影片 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 稀疏因果 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Tune-A-Video </span></strong></span></p> <p><span style="font-size: 22px;"><strong>新加坡國立大學打造文字轉影片模型Tune-A-Video省資源</strong></span></p> <p>新加坡國立大學以單樣本學習,打造一款文字轉影片AI模型Tune-A-Video,來降低訓練所需的運算成本。團隊指出,近來,文字轉影片這類生成式AI的主流研究方法,仰賴大規模成對的「文字-影片」資料集來微調。然而,這種方法耗費大量運算資源,也不直覺,於是團隊提出Tune-A-Video,來以單一組「文字-影像」訓練開放領域的影片生成器。</p> <p>團隊以經過海量資料訓練的文字轉圖像預訓練擴散模型為基礎,來開發文字轉影片模型。他們也發現,文字轉圖像模型能針對動詞,產出相對應的圖像,而且,用這些模型來同時生成多張圖像,其生成內容的一致性非常高。</p> <p>因此,為進一步讓模型學習連續性動作,團隊提出一種稀疏因果注意力機制,能透過單樣本微調預訓練擴散模型,來根據文字提示產生影片。團隊表示,Tune-A-Video可用來產生吻合時序的影片,可用於背景或主題變換、屬性編輯、風格轉換等。<a href="https://tuneavideo.github.io/">(詳全文)</a></p> <p><img alt="" src="https://tuneavideo.github.io/static/images/overview.png" /></p> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> ChatGPT </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> DoNotPay </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 服務條款 </span></strong></span></p> <p><span style="font-size: 22px;"><strong>美新創用ChatGPT讀服務條款,不只能白話解釋還會揪出不合理之處</strong></span></p> <p>生成式AI又有新應用!致力以AI維護消費者權益的美國新創DoNotPay執行長Joshua Browder最近展示一款外掛,該外掛基於ChatGPT,使用者在DoNotPay平臺服務DoNotSign上上傳服務條款PDF或輸入網址,系統就會自動閱讀內容、產出白話解釋,若有不合常規的條款,系統還會自動標註,來告知使用者。除了服務條款,該系統還能處理隱私條款、租賃合約等法律相關文件。Joshua Browder指出,該功能將是首款供大眾使用的GPT系列產品,因此可能受到OpenAI的API限制。目前,該功能正在審核中,還未正式上線。</p> <p>這不是第一個DoNotPay發表的AI應用。日前,Joshua Browder展示一款基於GPT-3.5的語音代理系統,能利用使用者聲音,來與客服自動對話,另一款則是基於GPT-3 API的聊天機器人,能與客服文字對話,解決訂閱、續約、付費問題。<a href="https://twitter.com/jbrowder1/status/1615543292057497603">(詳全文)</a></p> <p><img alt="" src="https://twitter.com/i/status/1615543292057497603" /><img alt="" src="https://s4.itho.me/sites/default/files/images/tune%20a%20video.png" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 微軟 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Azure OpenAI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> GPT-3 </span></strong></span></p> <p><span style="font-size:22px;"><strong>微軟Azure OpenAI服務正式上線,企業可用GPT-3、Codex和DALL-E 2了</strong></span></p> <p>微軟日前宣布Azure OpenAI服務正式上架,更多企業用戶可申請使用OpenAI的AI模型了,如GPT-3、Codex和DALL-E 2。微軟還預告,Azure OpenAI服務還會納入ChatGPT模型。</p> <p>Azure OpenAI服務由微軟在2021年推出,可讓企業在安全、合規的條件下,從Azure雲平臺取用OpenAI預訓練模型。這些模型包括具1,750億個參數的自然語言預訓練模型GPT-3、GPT-3的升級版GPT-3.5,以及可將自然語言轉為程式碼的模型Codex,還有文字轉圖像模型DALL-E 2。使用者可透過Azure OpenAI來開發各種應用程式,如從客服日誌快速總結客訴、快速編寫程式,或快速生成部落格文章等。Azure OpenAI服務提供的模型已由數十億頁公開文件訓練,企業只需提供自家少量業務資料,就能進一步微調模型。為確保AI合理使用,微軟也要求開發者先申請存取權限,事先描述預期用例和應用程式。微軟的監控程式也會持續過濾Azure OpenAI服務可能產生的辱罵、仇恨和冒犯性內容,當官方確認用戶用例違反政策,便會限制使用。<a href="https://azure.microsoft.com/en-us/blog/general-availability-of-azure-openai-service-expands-access-to-large-advanced-ai-models-with-added-enterprise-benefits/">(詳全文)</a></p> <p><img alt="" src="https://azurecomcdn.azureedge.net/mediahandler/acomblog/media/Default/blog/a6218d54-3c27-4c17-bc25-33ce1d1a268e.png" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 空中巴士 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 自駕技術 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 客機 </span></strong></span></p> <p><span style="font-size:22px;"><strong>參考蜻蜓視覺能力,空中巴士開發客機自駕技術</strong></span></p> <p>空中巴士(Airbus)以蜻蜓為靈感,開發自動飛行技術,Airbus UpNext DragonFly展示飛機已進入最後3個月的測試階段,來測試飛行路徑選擇能力、自動降落技術和駕駛員輔助技術。空中巴士計畫將DragonFly技術用於緊急操作上,當機組人員無法控制飛機時,DragonFly會將飛機重新導航至最近的機場,並安全著陸。</p> <p>這款DragonFly模仿蜻蜓超廣視野和辨識地標能力,來讓飛機辨識地景特徵和周圍環境,並安全操縱飛機。DragonFly系統也參考蜻蜓敏銳的視覺能力,整合感測器、電腦視覺演算法和導航運算功能,可在低能見度和惡劣天氣情況下降落,這項新的降落技術,甚至可以根據飛行員的飛行技巧自訂,減輕飛行員在緊急情況的額外程序。<a href="https://www.airbus.com/en/newsroom/stories/2023-01-could-the-humble-dragonfly-help-pilots-during-flight">(詳全文)</a></p> <p><img alt="" src="https://www.airbus.com/sites/g/files/jlcbta136/files/styles/airbus_1440x1440/public/2023-01/image_9_0.webp?itok=MnEsy_nJ" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 語音合成 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Eleven Labs </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 語音特徵 </span></strong></span></p> <p><span style="font-size:22px;"><strong>生成式AI新進展!Eleven Labs揭露最新語音合成成果</strong></span></p> <p>專注語音合成AI的研究實驗室Eleven Labs日前發布最新語音生成模型,使用者能根據性別、年齡、口音、音高,甚至是說話風格等特徵,來生成全新的人造聲音,而且系統每次合成的聲音都不一樣,即使用戶以相同參數生成聲音,也會得到一個不曾存在的聲音。</p> <p>近來,生成式AI大放異彩,在文字、圖像甚至是影片領域遍地開花,但語音生成並非如此。因此,Eleven Labs參考語音合成和語音複製的語音特徵編碼方法,在訓練專屬模型時,對說話者嵌入分布進行採樣,來合成無限多種的新聲音。他們也在這過程加入一定程度的限制,讓聲音擁有特定的語音特徵。Eleven Labs打算把這個模型發展為「Design Voice」功能,預計在2月於自家平臺上線。團隊表示,該模型可用於新聞媒體和商業廣告的語音,甚至能用於遊戲開發。<a href="https://blog.elevenlabs.io/enter-the-new-year-with-a-bang/">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Nvidia </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 零售業 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 防盜竊 </span></strong></span></p> <p><span style="font-size:22px;"><strong>Nvidia推新AI工具,防零售業商品被盜竊</strong></span></p> <p>Nvidia推出3款零售業專用AI工作流程Retail AI Workflows,可用來打造商品防竊盜應用。進一步來說,這些工作流程以Nvidia自家微服務平臺Metropolis為基礎,Nvidia先以常遭竊的商品圖片和軟體來訓練這些工作流程,開發者再以無程式碼或低程式碼模組來快速開發應用程式。</p> <p>第一款工作流程是零售業防損AI工作流程,其中的AI預訓練模型,能辨識上百種最常受盜竊損害的產品,如肉類、酒品和洗衣粉,模型也能識別產品不同的尺寸、容量和形狀。此外,使用者還能用Nvidia Omniverse平臺合成資料,來客製化模型,以業者自家的數十萬種商品來訓練。</p> <p>另一種是多攝影機追蹤AI工作流程,具多物件、跨多攝影機功能,讓開發者更容易打造跨全店多攝影機的系統,來追蹤商品物件。最後一個流程是零售商店分析工作流程,能以電腦視覺技術,在客製化的儀表板上呈現商店分析洞察,如商店客流量趨勢、使用購物籃的顧客人數、走道占用率等資訊。<a href="https://blogs.nvidia.com/blog/2023/01/12/retail-ai-workflows/">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 假消息 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 大型語音模型 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 輿論操縱 </span></strong></span></p> <p><span style="font-size:22px;"><strong>OpenAI:大型語言模型加重輿論操縱</strong></span></p> <p>OpenAI聯手史丹佛大學和喬治城大學,展開大型語言模型(LLM)對輿論風向操縱的研究,他們發現,大型語言模型會導致更多惡意傳播行為,且形式更多元,行為成本也更低。</p> <p>近年,生成式AI有顯著進展,但也容易遭惡意人士濫用。於是,3大機構聯手,以ABC模型來探討輿論操縱影響,其中A代表行為人,也就是輿論操縱行為背後的實體,B代表輿論操縱行為,C則指操縱內容。研究發現,在A方面,未來將因為生成模型普及而降低宣傳成本,出現更多樣的宣傳群體;而B則會出現自動生成內容規模擴大,同時也更有效率,如即時生成個人化內容,且生成內容更可信也更有說服力。團隊表示,語言模型對輿論風向操縱有重大影響,但目前沒有終極解決方案,有能力開發大型AI的科技龍頭和社群媒體,應共同應對輿論操縱。<a href="https://fsi.stanford.edu/publication/generative-language-models-and-automated-influence-operations-emerging-threats-and">(詳全文)</a></p> <p>圖片來源/Salesforce、新加坡國立大學、DoNotPay、微軟、空中巴士</p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p> <p><strong>1. 新AI工具<a href="https://gptzero.substack.com/p/new-year-new-features-new-model?r=8okkt&utm_campaign=post&utm_medium=web">GPTZeroX</a>可偵測文章是否出自ChatGPT</strong></p> <p><strong>2. 線上會議認真神器!Nvidia Broadcast以AI模擬用戶眼睛緊盯鏡頭</strong></p> <p>資料來源:iThome整理,2023年1月</p> </div></div></div>