<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p><span style="color: rgb(0, 0, 255);">重點新聞(0105～01011)</span></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);">影片生成 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 微軟 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> DragNUWA </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>微軟開源可控性更細緻的影片生成模型DragNUWA 1.5</strong></span></p>
<p>去年8月，微軟團隊發表影片生成模型DragNUWA論文，近來，他們不只<a href="https://github.com/ProjectNUWA/DragNUWA">開源</a>1.0版，還釋出了1.5版的模型權重和範例。進一步來說，影片生成一直有2大限制，首先是只單用文字、圖像或軌跡作為生成依據，難以實現顆粒度更細緻的控制，再來是基於軌跡的生成方法還不成熟，大多是在簡單的資料集上實驗。這2點，限制了模型處理開放領域圖像和複雜曲線軌跡的能力。</p>
<p>因此，微軟在去年提出DragNUWA，是一款以開放領域、擴散模型為基礎的影片生成模型，結合了文字、圖像和軌跡3種資訊，可從語義、空間和時間等角度來實現更細緻、可控性更高的影片生成。DragNUWA包括3個元素：軌跡採樣器（TS），可用來實現任意軌跡的開放領域控制；多規模融合（MF），可用來控制不同顆粒度的軌跡；自適應訓練（AT）策略，可用來生成軌跡一致的影片。在今年1月8日新添的DragNUWA 1.5版中，團隊以Stable Video Diffusion模型為骨幹，能根據特定路徑，來將輸入的圖像進行動畫處理。</p>
<p>經測試，微軟團隊認為，DragNUWA可根據不同的軌跡拖移，產出準確的鏡頭移動和物件移動。就Demo來看，只要輸入文字指令和想移動物件方向的箭頭，如「一艘船航行在湖面上」搭配船隻往前和湖水往後的箭頭，就能讓一張靜態的船隻圖片，轉為動態向前的航行影片。<a href="https://www.microsoft.com/en-us/research/project/dragnuwa/overview/">（詳全文）</a></p>
<p><img alt="" src="https://www.microsoft.com/en-us/research/uploads/prod/2023/08/Fig2-64d8b745bdc9c.gif" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Mobile ALOHA </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 機器人 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 史丹佛大學 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>可靈活模仿人類雙手動作！史丹佛大學發表機器人系統Mobile ALOHA</strong></span></p>
<p>最近，史丹佛大學開發一款能靈活模仿人類雙手動作的機器人系統Mobile ALOHA，可執行移動式的操縱和控制任務，比如炒蝦、擦拭酒漬、靠椅子和人擊掌等。團隊指出，目前模仿人類動作的機器人，大多是在固定位置上動作，難以移動位置執行更靈活的任務。</p>
<p>為解決問題，團隊打造了低成本、全身遠距操控系統Mobile ALOHA，搭配可移動的底座和資料收集能力，來讓機器人執行移動式的操縱任務。這套系統採用監督式行為複製學習方法（Supervised behavior cloning），也就是利用機器人收集到的資料，再加上ALOHA既有的靜態資料集，能強化機器人移動操作任務的表現。</p>
<p>特別是，每個任務經過50次示範，再加上既有資料集共同訓練，可提高系統的成功率到90%，讓ALOHA能自主完成複雜的移動式操作任務，例如炒蝦、打開2扇門的櫥櫃並擺放鍋具、按電梯和進電梯，以及開水龍頭沖洗用過的平底鍋等。<a href="https://mobile-aloha.github.io/">（詳全文）</a></p>
<div class="media_embed" height="315px" width="560px">
<iframe allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen="" frameborder="0" height="315px" src="https://www.youtube.com/embed/mnLVbwxSdNM?si=_r87wgOZUbu0GOov" title="YouTube video player" width="560px"></iframe></div>
<p> </p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 晶創臺灣 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 跨部會 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span></p>
<p><span style="font-size:22px;"><strong>晶創臺灣方案正式啟動，國科會揭4大布局</strong></span></p>
<p>行政院在去年11月通過晶創臺灣方案，要在2024年至2033年間投入3,000億元，來結合半導體晶片和生成式AI、發展各產業的創新應用。就在本月11日，行政院政委暨國科會主委吳政忠展開晶創臺灣方案啟動會議，找來國科會、經濟部、教育部、衛福部、數發部、農業部、國發會等部會共同啟動晶創臺灣方案。</p>
<p>在這場啟動會議中，各部會提出4大推動方向，首先是國科會、經濟部、數位部、衛福部、農業部等將共同推動生成式AI+晶片應用，來加速各行業創新。他們去年開始調查百工百業的AI需求，並以機械業為示範，建立資料共享機制，接下來要擴大延續各行業創新。今年，國科會還要建置算力、精進大型語言模型（LLM），強化臺灣生成式AI服務。</p>
<p>再來，國科會、教育部、經濟部將共同強化國內半導體培育環境，來吸引全球研發人才。他們要在今年成立第一個晶片設計海外基地，並規畫先進IC設計訓練教材、建置產學研共享的半導體研究設備平臺。第三，國科會要與經濟部推動異質整合和先進技術研發，如7nm先進晶片、AI、HPC、車電通訊等領域，今年還要研發IC設計工具的關鍵技術自主，並建置自動化IC設計雲平臺。最後，國科會要與國發會共同培育國內新創、吸引國內外新創和投資來臺，今年要完成涵蓋IC設計、晶片下線、測試到最後雛型產品試製的一站式pipeline，來降低國內外新創投入門檻。<a href="https://www.nstc.gov.tw/folksonomy/detail/05dbc9ae-5ba2-4e26-8ed7-5cae62eb12e0?l=ch">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> DeepMind </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 機器人 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> LLM </span></strong></span></p>
<p><span style="font-size:22px;"><strong>DeepMind用大型基礎模型自動控制機器人</strong></span></p>
<p>日前，DeepMind揭露一系列機器人研究的最新進展，在Robotics Transformers（RT）基礎上發展AutoRT、SARA-RT和RT-Trajectory系統，讓機器人可更快地做決策，並理解世界，在環境中順利導航。為讓機器人具備特定能力，DeepMind先是發展AutoRT，將大型語言模型（LLM）和視覺語言模型等大型基礎模型，與機器人控制模型RT-1或RT-2整合，建置一個可在新環境中部署、適應未知環境的機器人，還能一邊收集改進用的訓練資料。這個AutoRT能同時指揮多個機器人，並用視覺語言模型來了解環境和視線中的物件，同時透過LLM來建議機器人執行任務，像是將零食放回臺面。</p>
<p>同時，DeepMind還開發SARA-RT系統，可將Robotics Transformers模型轉換成為更為高效的版本。比如結合機器人控制系統RT-2，可在看過簡短的影像歷史紀錄後，提高SARA-RT-2模型自身的準確度，比RT-2高出10.6％，速度更是快上14％。DeepMind第3種機器人創新技術則是機器人訓練模型RT-Trajectory，可透過在訓練影片中自動加入機器人動作的視覺輪廓，來提高機器人的任務理解和執行能力。<a href="https://deepmind.google/discover/blog/shaping-the-future-of-advanced-robotics/">（詳全文）</a></p>
<p><img alt="" src="https://lh3.googleusercontent.com/o1iXzRTpu6dEFrnUk2kiiuNJWvNlzjgQLU_HW3FVslb57Jt6pMR5qEn4WVjfJeb7wJhewmSOWAnVM8rOTmkUSiUNClOhCCCkccGTnlJF-h-ZT1hVew=w1232-rw" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> GPT Store </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> ChatGPT </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 客製化 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>OpenAI GPT Store正式上線</strong></span></p>
<p>繼先前預告，OpenAI終於在10日宣布客製化Chatbot分享與銷售平臺GPT Store正式上線，預計第一季內從美國開始推行GPTs共享回饋方案。OpenAI在去年11月初揭露GPTs服務，是一個可客製化ChatGPT的服務，同時也揭露GPT Store，也就是可分享、銷售客製化ChatGPT聊天機器人的商店平臺，目前已累積300多萬個客製化ChatGPT版本，也有不少人分享到之前尚未正式推出的GPT Store上。</p>
<p>現在，GPT Store正式開放，首先會給ChatGPT Team方案用戶，使用尚未公開的GPTs，接下來則會開放給ChatGPT Enterprise用戶。Team和Enterprise版都會提供GPTs管理控制功能，像是決定內部GPTs怎麼分享，或哪些外部GPTs可用於企業內。GPT Store還將列出GPTs精選，以及DALL-E、寫作、生產力、研究&分析、程式撰寫、教學和生活等類別，並提供搜尋工具，供用戶自行搜尋。<a href="https://chat.openai.com/gpts">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Google </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> BigQuery </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Document AI </span></strong></span></p>
<p><span style="font-size:22px;"><strong>打造生成式AI應用更輕鬆了！BigQuery整合Document AI簡化文件擷取</strong></span></p>
<p>最近Google更新自家無伺服器企業資料倉儲BigQuery，整合了Document AI功能，讓開發者更輕鬆從檔案資料擷取資訊，來用於大型語言模型應用程式的開發上。過去，使用者要建立獨立的Document AI工作管線，需手動管理擷取邏輯和模式，因為缺乏原生整合功能，得要自己開發客製化基礎設施、維護資料的一致性，需耗費大量人力。</p>
<p>但現在，Google推出BigQuery與Document AI整合功能，直接讓用戶在BigQuery中，建立用於Document AI自定義擷取器的遠端模型，可呼叫來進行大規模文件分析和生成式AI應用。此外，Document AI也提供現成的擷取器，可用來處理常見的檔案類型，如發票或身分證件等。<a href="https://cloud.google.com/blog/products/data-analytics/add-gen-ai-to-your-apps-with-bigquery-and-document-ai-integration/">（詳全文）</a></p>
<p><img alt="" src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_BFE9GCE.max-1900x1900.png" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI發展 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI Impacts </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 假訊息 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>全球近3千名專家調查：AI發展快於預期</strong></span></p>
<p>AI Impacts組織對全球近3,000名AI專家進行問卷調查，結果發現，這群專家認為AI的進步超越了先前預測。進一步來說，這場調查對象為去年在6個頂尖AI學術研討會上，發表研究報告的2,778名AI專家。雖然大多數專家對AI進步帶來的長期價值仍有不確定性，如68.3%的受訪者認為，超人AI將帶來正面結果，但其中48%亦同意有5%的機率可能會造成人類滅絕等極糟結果。另一方面，有26.9%贊成維持現階段的AI發展速度，才能造福人類，另有38.4%認為應加快發展腳步、34.7%認為應放慢腳步。</p>
<p>不論如何，目前AI的進步已超出預期，原本預計要更久後才能達到的目標，都可望在2028年之前提前達標，像是提供規範與範例就能創造簡單的Python程式碼、撰寫一篇高品質的高中歷史作文，或幫新物件分類、替既有的創作者創作假新歌、自動建立一個支付網站，或提供電話銀行服務等。</p>
<p>此外，先前估計自動尋找及修補安全漏洞的能力也得等到2043年，最新的預測則會在2033年以前完成。不過，這群AI專家在未來30年最擔心的問題，則以假訊息居冠，包括以AI來創作和散布假訊息，或是用來操縱大眾意見趨勢等，另也擔心AI系統會加劇經濟上的不平等。<a href="https://blog.aiimpacts.org/p/2023-ai-survey-of-2778-six-things">（詳全文）</a></p>
<p><img alt="" src="https://substackcdn.com/image/fetch/w_1456,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F21f4fd7b-b6b7-4bf7-bb2d-f33901e2ffdc_2310x3603.png" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 語音轉文字 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> BigQuery </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Vertex AI </span></strong></span></p>
<p><span style="font-size:22px;"><strong>BigQuery整合Vertex AI語音轉文字模型服務</strong></span></p>
<p>Google最近在自家企業資料倉儲服務BigQuery中，預覽Vertex AI語音轉文字模型，讓用戶可透過SQL根據資料微調轉錄模型，在BigQuery中執行語音轉文字工作，還能整合其他結構化資料，來合併分析、建置AI應用。</p>
<p>這意味著，GCP用戶不必再像過去一樣，要轉錄語音資料得靠自己建立獨立的AI工作管線、自定義基礎設施。這次新的Google語音轉文字V2 API提供多功能轉錄服務，用戶可針對不同類型的語音音訊，如客服通話或醫療錄音，選擇合適的模型。此外，模型也可以根據用戶的資料進行調整，以提高轉錄準確性。<a href="https://cloud.google.com/blog/products/data-analytics/vertex-ai-transcription-models-are-available-in-bigquery">（詳全文）</a></p>
<p>圖片來源／微軟、史丹佛大學、Google DeepMind、AI Impacts、Google</p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p>
<p><strong>1. <a href="https://openai.com/blog/introducing-chatgpt-team">OpenAI推出針對中小企業的ChatGPT Team方案</a></strong></p>
<p><strong>2. <a href="https://www.ithome.com.tw/news/160807">微軟、美國科學家以AI尋找新電池材料</a></strong></p>
<p><strong>3. 摩根大通JPMorgan釋出專家混合架構（MoE）模型<a href="https://huggingface.co/mlabonne/phixtral-2x2_8">Phixtral</a>，表現比Phi-2好</strong></p>
<p>資料來源：iThome整理，2024年1月</p>
</div></div></div>
