OpenAI公布短影片生成AI模型Sora,能理解指示、產出複雜場景
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p>OpenAI昨(5)日<a href="https://openai.com/sora" target="_blank">公布最新生成式AI模型Sora</a>,未來能讓使用者輸入文字即可產生短影片,目前已展開不公開的安全及功能測試。</p> <p>Sora可依據用戶輸入的文字描述,產生最長1分鐘的高畫質影片。Sora能生成具有多個角色、特定動作及具備精準主題細節及背景的複雜場景影片。其底層模型對語言有深度理解能力,使其能精確解釋用戶的提示要求,產生能表達鮮明情感的人物,它也能在簡單一則短影片建立多個場景,並以同樣的角色和視覺風格貫穿多場景。目前OpenAI已提供合作的紅隊演練測試人員,以及少部分視覺設計、攝影師、製片人員試用Sora以取得專業反饋意見。</p> <p class="rtecenter"><a href="https://cdn.openai.com/sora/videos/italian-pup.mp4" target="_blank"><img alt="" src="https://s4.itho.me/sites/default/files/images/60216-sora%20by%20openai-600-1.jpg" style="width: 600px;" /></a></p> <p><span style="font-size:14px;"><span style="color:#696969;">圖片來源/OpenAI</span></span></p> <p>Sora類似Meta和Google釋出的類似AI模型,分別名為<a href="https://www.ithome.com.tw/news/159897" target="_blank">Emu Video</a>及<a href="https://www.ithome.com.tw/node/160487" target="_blank">VideoPoet</a>。</p> <p>從技術層面而言,Sora是一個擴散模型,能從一個看似靜態噪音(static noise)的影格開始,逐步透過去除噪音生成一則影片。Sora是在DALL-E及GPT模型的研究基礎上發展,它使用DALL-E 3的重描述(recaptioning)技術,能為視覺訓練資料產生高度描述文字,因此能依循用戶文字指令產生影片。除了根據文字指示外,該模型也能將靜態圖片動態化以生成影片。Sora能從無到有生成全新影片,也能延長現有影片,或是將遺失的影格補上。</p> <p>OpenAI表示,Sora是運行能理解及模擬真實世界的模型之基礎,該公司相信是實現通用人工智慧(Artificial General Intelligence,AGI)的重要里程碑。</p> <p>不過Sora目前還有待加強,因它對複雜場景的描繪,以及特定因果關係的理解還有問題。例如它的人物可能咬了口餅乾,但餅乾卻沒有咬痕。它有時也會搞混提示的細節,例如左、右搞錯,或無法精準描述發生一段時間的事件,例如無法跟著攝影機的軌跡移動。</p> <p>在將Sora公開給大眾使用前,OpenAI正在強化安全測試。該公司正在進行紅隊演練,以評估假訊息、仇恨內容及偏見對模型的影響。開發團隊也正在打造偵測誤導性內容的工具,像是偵測分類器,能在Sora生成影片時加以判讀。</p> <p>為提供辨識,該公司計畫未來將該模型部署到OpenAI產品中時,在其生成的影片加入C2PA metadata。<a href="https://www.ithome.com.tw/news/161227" target="_blank">C2PA是Meta和業界聯盟合作發展的AI內容辨識標準</a>,OpenAI已經<a href="https://www.ithome.com.tw/news/161251" target="_blank">在DALL-E3生成的圖像中加入C2PA metadata</a>。</p> <p>此外,OpenAI也會利用團隊現有安全技術為Sora加入安全措施,像是文字分類器會拒絕違反使用政策的提示,圖像分類器則會檢視影片的影格,以確保符合政策。該公司也承諾和立法機關、教育人士及藝術家合作以減少其對AI的疑慮。</p> </div></div></div>