AI趨勢周報第253期:微軟Build 2024大會AI亮點盤點
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <h3><span style="vertical-align: top; color: rgb(0, 0, 255);">重點新聞(0524~0530)</span></h3> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 微軟 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Copilot </span></strong></span></p> <p><span style="font-size: 22px;"><strong>盤點微軟Build 2024大會AI重大更新</strong></span></p> <p>微軟在5月下旬展開今年度Build大會,主題聚焦生成式AI,亮點可分為AI筆電Copilot+ PC和整體的微軟Copilot技術架構更新。Copilot+ PC是今年首度亮相的AI系列筆電,結合了CPU、GPU和微軟自行研發的NPU,效能可達每秒40兆次處理(TOPS),可更快速執行AI應用。這系列筆電內建了40多個本地端AI模型和多種AI原生App,像是回顧Recall、圖像創作Cocreator、即時字幕與翻譯Live Caption等。這些筆電由微軟Surface和OEM合作夥伴提供,包括華碩、宏碁、Dell、聯想、HP和三星等,預計6月18日開始上市。</p> <p>另一方面,在微軟Copilot技術架構更新部分,則可分為底層和應用層。就底層來說,基礎設施部分微軟正式推出基於AMD最新Instinct GPU的處理器ND MI300X v5,可更快、更有效率執行AI應用,另也公開預覽Cobalt 100晶片。往上一層到基礎模型層,不只正式在Azure AI中上架GPT-4o模型,也和Hugging Face擴大合作、納入所有Hugging Face模型到Azure AI,另也推出42億參數的Phi-3-vision模型和33億參數的Phi-Silica模型。而AI開發工具Azure AI Studio也正式上線,可用來打造AI應用。甚至,Azure AI Studio還推出客製化模型功能,允許使用者用自己的資料訓練客製化模型。</p> <p>再往上一層來到資料層,微軟資料分析平臺Microsoft Fabric推出一項無程式碼/低程式碼的即時智慧(Real-Time Intelligence)SaaS解決方案,可用來更快速處理大量、顆粒度更細緻的PB級即時串流數據。在AI調度與工具鏈層,微軟推出程式開發外掛GitHub Copilot Extensions(私人預覽),開發者可用透過自然語言和自己習慣的工具,來打造、部署雲端應用,完全不必離開開發環境IDE或GitHub網站。第一波新添16個外掛。</p> <p>工具層之上來到應用層,在這層,微軟推出Microsoft Copilot Connector連結器,可讓Copilot助理摒除障礙存取使用者資料、跨App和工作流程處理資料,來打造客製化模型。同時,微軟還針對M365 Copilot推出協作助理Team Copilot,專門處理複雜的協作任務,比如在協作工具Teams中管理會議、安排議程、管理時間和記錄重點。它還能管理Teams對話,摘要重要資訊、回覆群組問題等。甚至能扮演PM角色,確保任務管理看板Planner中的每個專案順利進行。Team Copilot預計今年晚些時候預覽。另一項Copilot產品線的延伸,則是在低程式碼助理開發平臺Microsoft Copilot Studio中,新添代理(Agent)的能力類別,讓開發者用來打造能主動回應數據和事件的智慧助理,還能執行特定任務和功能。<a href="https://news.microsoft.com/zh-tw/microsoft-build-2024/">(詳全文)</a></p> <p><img alt="" src="https://news.microsoft.com/wp-content/uploads/prod/sites/74/2024/05/2-1-1536x1025.jpg" /></p> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);">機器狗 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 臺大 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 國科會 </span></strong></span></p> <p><span style="font-size: 22px;"><strong>臺大團隊打造工業用和居家用2款機器狗</strong></span></p> <p>在國科會產學合作計畫下,臺大機械系教授郭重顯帶團打造2款自主研發的AI機器狗NTU DogBot,包括54公分長、16公斤重的寵物型機器狗Oliver,以及93公分長、40公斤重的工作型機器狗Dustin。這些機器狗整合多項機電設計和AI技術,包括機械設計、控制工程、步態生成、自主導航、AI演算法等,臺大團隊也與國內企業探討機器狗使用情境,如在工廠或工地智慧巡檢、餐點/物流配送,要加速NTU DogBot導入相關場域,解決缺工和人力問題。</p> <p>進一步來說,臺大團隊在2022年至2023年間,先以3D列印方式,研發出42公分長、4公斤重的小型機器狗,進行步態控制和自主定位與導航的概念驗證。後來,臺大團隊參與國科會產學合作研究計畫,相繼打造出Oliver和Dustin,兩款皆具自主定位導航能力,但Oliver具動作教導與AI視覺等功能、可進行語音和表情偵測與互動操控,適合居家應用,而Dustin適合工業巡檢與物品遞送,搭載各式工業用途感測器,如音噪、視覺、溫度、氣體等,還能結合Line Bot即時訊息回報。團隊盼以這兩款機器狗雛形為基礎,推動臺灣機器狗產業發展。</p> <p>臺大團隊表示,機器狗在國外不僅商品化,還有具體應用場景,如美國機器狗用於電網巡檢、韓國機器狗投入物流配送、歐洲機器狗應用於地鐵隧道和管線的養護檢修等。而臺灣機器狗沒有太多實際導入案例,原因為造價與維護昂貴、客製化與AI開發技術支援不足等,郭重顯團隊研發成果可讓企業以較低成本導入場域,並提供客製化、組合式模組軟體架構,能快速針對企業需求調整,並採用開放式通訊介面,可整合企業端生產資訊和資料庫。<a href="https://www.nstc.gov.tw/folksonomy/detail/dde231d2-38f2-493a-8996-c3b942a1e7e1?l=ch">(詳全文)</a></p> <p><img alt="" src="https://www.nstc.gov.tw/nstc/attachments/21be3d32-60d7-4978-8e1a-f3dd0d80bbbd" /></p> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 互連 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 開放標準 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AI </span></strong></span></p> <p><span style="font-size: 22px;"><strong>Intel、AMD、微軟等IT巨頭合推AI網路互連開放標準</strong></span></p> <p>英特爾、超微(AMD)、博通(Broadcom)、微軟、Meta、思科和HPE等IT巨擘在5月30日宣布聯手發展網路加速器互連標準Ultra Accelerator Link(UALink),為系統OEM業者、IT專業人員、系統整合廠商,提供更容易整合、彈性擴充性的方法來打造AI基礎架構。</p> <p>這個產業新標準,是要提供高速、低延遲的網路互連(Interconnect),來串聯不同廠牌的機器,實現資料中心內AI與HPC的系統擴充。UALink促進小組指出,他們將發展一套規格,來定義高速、低延遲的互連架構,擴大AI運算單位(Pod)中加速器和交換器之間的通訊。即將推出的UALink 1.0規格,將在一個AI運算單位中,支援最多1,024個加速器,允許GPU等加速器附加記憶體之間的直接載入和儲存。該促進小組已成立UALink聯盟,預計在2024年第三季正式成為法人公司,並發布1.0版規格,公開給聯盟會員。<a href="https://www.afp.com/en/news/1315/amd-broadcom-cisco-google-hewlett-packard-enterprise-intel-meta-and-microsoft-form-ultra-accelerator-link-ualink-promoter-group-drive-data-center-ai-connectivity-202405306536021">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> ChatGPT Edu </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> OpenAI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 教育 </span></strong></span></p> <p><span style="font-size:22px;"><strong>OpenAI推出教育版ChatGPT Edu</strong></span></p> <p>OpenAI在5月底發表一款教育專用聊天機器人ChatGPT Edu,將推廣到全球校園中。ChatGPT Edu採最新的GPT-4o多模態模型,專為大學打造,可支援文字和視覺推論,也能進行資料分析等功能。此一版本具備企業級安全與控制能力,OpenAI將以教育機構負擔得起的價格來供應。</p> <p>ChatGPT Edu的功能包括文本釋譯、撰寫程式碼、解決數學問題,也提供資料分析、網頁瀏覽及文件摘要等高階功能,還能建置客製化ChatGPT版本並於校內分享。此外,這款ChatGPT Edu還提供比免費版要多的訊息額度,支援逾50種語言並改善語言的品質和速度,且不會以用戶的資料及對話來訓練模型。<a href="https://openai.com/index/introducing-chatgpt-edu/">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Claude </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 外部工具 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Anthropic </span></strong></span></p> <p><span style="font-size:22px;"><strong>Anthropic推新功能,Claude助理可使用外部工具了</strong></span></p> <p>AI新創公司Anthropic在5月30日揭露聊天機器人Claude新工具,讓Claude除了搜尋和回答問題外,還能整合API和外部資料源來執行更多任務,目前已正式上線、開放企業開發者使用。</p> <p>這個新工具叫做Tool Use,透過它,Claude能和外部用戶端工具、API和功能互動,可用來執行多種任務,像是搜尋最新網頁資料、從文件中擷取資料輸入報表或執行客戶服務。Tool use目前已整合在Claude 3模型家族,供開發者可透過Anthropic Messages API、Amazon Bedrock、和Google Vertex AI存取使用。相關資源也在GitHub公開。另一方面,OpenAI的ChatGPT、微軟Copilot也都在去年推出類似擴充功能,可以外掛、API整合外部工具或服務,提供AI代理訂餐、訂票、網購、搜尋景點等即時資訊或更自動化的服務。<a href="https://www.anthropic.com/news/tool-use-ga">(詳全文)</a></p> <p> </p> <div class="media_embed" height="420px" width="746px"> <iframe allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen="" frameborder="0" height="420px" referrerpolicy="strict-origin-when-cross-origin" src="https://www.youtube.com/embed/b77htH1eX-s" title="Claude 3 tool use: customer support" width="746px"></iframe></div> <p> </p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 語音訂位 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Line </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Chatbot </span></strong></span></p> <p><span style="font-size:22px;"><strong>台灣大聯手Line、inline,打造餐飲AI語音訂位服務</strong></span></p> <p>最近,台灣大哥大與Line、碩網資訊、inline共同推出AI語音預約訂位服務,結合聊天機器人、生成式AI,來協助餐飲業者處理顧客來電訂位需求。這個訂位服務結合台灣大行動市話服務,讓手機能接聽市話來電,並結合碩網資訊的語意辨識、語音合成技術,Line的Clova聊天機器人,以及inline的線上訂位服務,讓商家不需要撥出人力接聽訂位電話,就能自動由AI協助完成線上訂位。</p> <p>比如,消費者透過Google Map撥打商家電話,如果商家設定好Line Call來電,來電就會由AI應答,消費者只要以自然的口語說出想要預訂用餐,如5月30日晚上7點、4大2小,AI就會自動與消費者問答,完成訂位訊息,並通過inline完成線上訂位,再透過Line發送成功訂位資訊給消費者。若消費者以市話來電訂位,也能由Line聊天機器人協助完成,60秒即可。</p> <p>技術上除使用Line聊天機器人和社群平臺,他們也導入ChatGPT-3.5來判讀用餐相關問題,例如店家周邊停車資訊、用餐時間限制、兒童用餐、座位等問題。為避免ChatGPT給出錯誤訊息,碩網也預先訓練ChatGPT應答資料,如ChatGPT判斷無法回答,則轉交真人接聽或Line一對一回應。<a href="https://linecorp.com/tw/pr/news/tw/2024/4720">(詳全文)</a></p> <p><img alt="" src="https://vos.line-scdn.net/linecorp/tw/pr/2024053003.jpg" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 程式撰寫 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Codestral </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Mistral AI </span></strong></span></p> <p><span style="font-size:22px;"><strong>Mistral AI推出輕量級程式撰寫模型</strong></span></p> <p>法國AI新創公司Mistral AI最近發布輕量級程式撰寫輔助模型Codestral,能完成程式碼撰寫,也能撰寫測試,加速開發軟體專案的速度。Codestral以80多種程式開發語言的資料訓練而成,涵括Python、Java、C、C++、Bash、Swift和Fortran等語言。</p> <p>該模型參數為220億,可作為指令語言模型,回答開發問題或執行開發任務,例如解釋程式碼片段、撰寫文件、因子分析,或產生開發者所需的程式碼。它也支援fill-in-the-middle(FIM)功能,能預測前綴、後綴字串預測中間元素,完成任何部份程式碼,對VS Code之類的軟體開發相當有幫助。Mistral AI相信其涵蓋廣度可擴大其專案適用性,結合此一模型可提升開發人員開發品質,減低錯誤及臭蟲的風險。Codestral已在MNLP-0.1授權下,在Hugging Face平臺開源。<a href="https://mistral.ai/news/codestral/">(詳全文)</a></p> <p><img alt="" src="https://mistral.ai/images/news/codestral/General_table.png" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> GitHub </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 加速器 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span></p> <p><span style="font-size:22px;"><strong>GitHub加速器資助11個開源AI專案</strong></span></p> <p>GitHub加速器(GitHub Accelerator)今年聚焦AI,根據促進新職業發展、影響廣泛社群、強化資安和提高開源AI開發者生產力等指標,挑出了11項專案,將提供資金援助、指導和社群等資源。進一步來說,今年入選的GitHub Accelerator專案涵蓋多個領域,包括模型最佳化與部署、測試與評估、AR/VR應用、無人導航、隱私與安全,以及開發者工具。</p> <p>在模型最佳化與部署方面,unsloth AI專案能降低模型微調所需要的記憶體資源和時間,LLMware.ai簡化了企業採用檢索強化生成(RAG)技術的流程。LangDrive可透過API簡化大型語言模型的訓練和部署。在AI應用上,A-Frame專案讓使用者在瀏覽器中建立AR/VR與3D內容,Nav2則為機器人提供導航解決方案。</p> <p>針對隱私與安全的專案有OpenWebUI,目標是發展可改善隱私和安全性的本地端LLM,另還有為安全團隊提供自動化代理的HackingBuddyGPT。此外,Web-Check提供AI驅動的網站安全檢查服務。而進階Python筆記本Marimo,則能簡化RAG部署Talkd.ai,可提高開發者生產力。<a href="https://github.blog/2024-05-23-2024-github-accelerator-meet-the-11-projects-shaping-open-source-ai/#unsloth-ai-bending-the-cost-curve-of-fine-tuning-models">(詳全文)</a></p> <p>圖片來源/微軟、國科會、Anthropic、Line、Mistral AI</p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p> <p><strong>1. OpenAI開放自製GPTs、GPT-4o給免費版ChatGPT用戶存取</strong></p> <p><strong>2. Opera AI瀏覽器將整合Google Cloud Gemini等模型</strong></p> <p><strong>3. IBM Watsonx大型主機程式開發助理強化解釋功能,助開發者理解COBOL程式碼</strong></p> <p>資料來源:iThome整理,2024年6月</p> </div></div></div>