<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <h3><span style="vertical-align: top; color: rgb(0, 0, 255);">重點新聞(1108~1114)</span></h3>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 推論速度 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 電腦視覺 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> LogicTreeNet </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>又快又小又準確,史丹佛大學提出另類電腦視覺模型</strong></span></p>
<p>最近,史丹佛大學發表一項電腦視覺研究成果,整合了卷積網路和邏輯閘網路(Logic Gate Networks,簡稱LGNs),打造出名為LogicTreeNet的卷積可微分邏輯閘網路。在CIFAR-10測試中,這個網路只需6,100萬個邏輯閘,就能達到86.29%的辨識準確率,比SOTA高階模型表現更好,且模型還小了29倍,適合用於運算資源有限的場景。</p>
<p>團隊解釋,之所以會開發LogicTreeNet,是因為LGNs的運算速度,比傳統神經網路方法還要快許多。因為LGNs要執行推論,只需NAND、OR和XOR等邏輯閘運算子,而這些運算子是目前硬體溝通的重要元素,換句話說,這類網路在硬體執行上,比傳統網路更有效率。於是,團隊在這個基礎上,用深度邏輯閘樹卷積、邏輯OR池化、殘差初始化等3種方法,來將LGNs結合電腦視覺的卷積網路,並大規模擴展。</p>
<p>其中,殘差初始化可在深度網路中,盡可能保存資訊,防止梯度消失。而邏輯OR池化結合邏輯樹內核,可大幅提高訓練效率。經團隊測試,LogicTreeNet在MNIST測試中,推論速度比SOTA模型快上160倍,而在CIFAR-10測試中,則快上1,900倍。<a href="https://arxiv.org/abs/2411.04732">(詳全文)</a></p>
<p><img alt="" src="https://arxiv.org/html/2411.04732v1/extracted/5984795/images/difflogic-vis-2.png" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AlphaFold 3 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Google DeepMind </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 蛋白質結構 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>DeepMind開源學術版AlphaFold 3模型</strong></span></p>
<p>Google DeepMind最近開源AlphaFold 3模型程式碼,供學術界研究者下載、進行蛋白質結構預測的相關研究。AlphaFold 3是一款可預測蛋白質和重要分子(如DNA、RNA、小分子等)三維結構及其交互作用的模型。</p>
<p>而且,有別於只能預測單一蛋白質結構的AlphaFold 2,AlphaFold 3進一步提升對複雜分子交互作用的模擬能力,研究者更能理解分子如何在細胞內互動,進而推動藥物開發和疾病治療的研究。之前,DeepMind只透過伺服器來提供AlphaFold3的預測服務,也限制預測的數量和種類。但在學界呼籲下,DeepMind重新評估該項政策,日前決定開放模型程式碼,供具學術資格的研究員下載使用。<a href="https://github.com/google-deepmind/alphafold3">(詳全文)</a></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 多模態 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> GUI互動 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 微軟 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>微軟也用多模態LLM打造GUI代理工具</strong></span></p>
<p>上個月,微軟開源一款GUI代理程式OmniParser,結合了多模態大語言模型(LLM)和其他模型,來辨識裝置UI畫面(如手機螢幕)、自動執行互動指令,是多模態LLM的另一新應用 。微軟團隊表示,GPT-4V和GPT-4o這類LLM,在處理一般任務時表現優異,但要作為通用代理、只靠視覺輸入來處理跨系統任務,仍不夠準確。</p>
<p>為解決難題,微軟先建立2個專屬資料集,包括網頁中可互動的icon資料集、icon描述資料集(即說明UI元件與其功能),來分別訓練2套模型。一套是偵測模型,以第一個資料集微調而成,用來辨識螢幕中可互動的icon圖標,另一套是圖說模型,以第二個資料集訓練而成,用來解釋偵測到的UI元件功能。這兩套模型都採Transformer解碼器架構,組合起來就是OmniParser。</p>
<p>微軟表示,經測試,OmniParser可精準辨識UI中的元件,並生成正確的功能解釋,可搭配GPT-4V執行精準的GUI代理任務、與系統互動。微軟並非第一家在該領域有所突破的企業,蘋果和Anthropic也發表過這類領域研究成果;隨著GUI解析技術的成熟,AI在跨平臺操作中的靈活性將大幅提升,讓自動化應用越來越可行。<a href="https://www.microsoft.com/en-us/research/articles/omniparser-for-pure-vision-based-gui-agent/">(詳全文)</a></p>
<p><img alt="" src="https://www.microsoft.com/en-us/research/uploads/prod/2024/10/OmniParser_performance_fig1_1400px.png" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AI評測 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 工研院 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 語言模型 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>工研院建AI測試實驗室,推語言模型可信任評測服務</strong></span></p>
<p>去年底,數位部啟動AI產品與系統評測中心,要建立國家級AI模型評測機制,來衡量企業所使用的AI服務是否安全可靠。在數位部支持下,最近,工研院宣布建置臺灣第一家AI測試實驗室,參考了國際可信任AI框架和標準,也聯手AI產品與系統評測中心(AIEC)專家和技術委員,開發出可信任語言模型評測工具,可用來自動化測試模型的準確性、公平性、可靠性、隱私和資安等能力。</p>
<p>工研院量測技術發展中心執行長藍玉屏說明,這些測試工具,參考了國際和國內專家審議的測試題庫,來讓模型作答,並評估生成內容的可信任性。而隨著AI應用發展,工研院也會加強對AI技術的測試、探索新技術應用的評測方法。另一方面,工研院也與法國國家計量院(LNE)簽署合作協議,要來交流AI評測技術。<a href="https://www.itri.org.tw/ListStyle.aspx?DisplayStyle=01_content&SiteID=1&MmmID=1036276263153520257&MGID=113103018085866398">(詳全文)</a></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 多代理 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 微軟 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Magentic-One </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>微軟開源多代理AI系統</strong></span></p>
<p>最近,微軟釋出一款多代理AI系統Magentic-One,專門為跨領域、開放式網頁與檔案操作任務設計,並在GitHub開源。進一步來說,該系統以Microsoft AutoGen框架為基礎,允許多個代理相互協作完成複雜任務,可用於程式開發、資料分析和研究等領域。</p>
<p>Magentic-One採多代理架構,由主導代理Orchestrator負責規畫任務、追蹤進度,也會分配具體子任務給其他4個代理。不同代理有不同專長,包括從本機檔案中擷取資訊、操作網頁瀏覽器,或編寫和執行Python程式碼等。Magentic-One高度模組化、隨插即用,可根據開發者需求,靈活添加或移除代理。在開源Magentic-One的同時,微軟也釋出相對應的評估工具AutoGenBench,供開發者在控制變數和隔離環境下進行系統測試,確保該系統的穩定表現。<a href="https://www.microsoft.com/en-us/research/articles/magentic-one-a-generalist-multi-agent-system-for-solving-complex-tasks/">(詳全文)</a></p>
<p><img alt="" src="https://www.microsoft.com/en-us/research/uploads/prod/2024/11/magnetic_example-2048x1155.png" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> GitHub </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Java </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Copilot助理 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>GitHub發布Java專用助理</strong></span></p>
<p>最近,GitHub推出一款Java開發新工具:Java Copilot升級助理(Copilot Upgrade Assistant for Java),並開放技術預覽。該工具採用GAI來自動化升級Java應用程式的執行環境、框架和相依性,簡化企業用戶的操作。</p>
<p>在技術預覽版中,Copilot升級助理能協助開發者設定JDK、Maven路徑、特定功能分支名稱等參數,也能辨別專案中的主要相依項目,像是Spring Boot和JUnit等測試框架。完成設定後,Copilot助理能生成一系列升級任務,開發者也能在儀表板即時查看每個步驟的進度。要是在升級過程中發生錯誤,Copilot助理也會自動修復,並建立動態建置與修復迴圈嘗試多種解決問題的方法。<a href="https://devblogs.microsoft.com/java/technical-preview-github-copilot-upgrade-assistant-for-java/">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Hugging Face </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 小型語言模型 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> SmolLM2 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Hugging Face發表輕量級小型語言模型SmolLM2</strong></span></p>
<p>最近,AI社群Hugging Face發布一系列可在手機上執行的小型語言模型SmolLM2。這是繼7月首次問世後,SmolLM家族的最新版本,包括參數量135M、360M與1.7B三種版本。其中,135M參數模型又可分為基礎版和Instruct版,360M與1.7B參數模型則各自分成基礎、Instruct和GGUF(GPT-Generated Unified Format)版本,共11個模型,皆以Apache 2.0授權開源。</p>
<p>135M、360M與1.7B都是以公開資料集和Hugging Face編排的資料集訓練,但1.7B版本還多了數學與程式碼資料集。這些資料集分別有2兆、4兆與11兆個字符(Token)。相較於第一代,SmolLM2在指令遵從、知識與理解能力表現更好,也拜Argilla資料集之賜,Instruct模型還支援改寫、重要摘要與函式呼叫等任務。不過,SmolLM2模型只能理解和生成英文內容,也還存在事實準確性、邏輯一致性以及偏差等問題。<a href="https://huggingface.co/collections/HuggingFaceTB/smollm2-6723884218bcda64b34d7db9">(詳全文)</a></p>
<p><img alt="" src="https://cdn-uploads.huggingface.co/production/uploads/61c141342aac764ce1654e43/y45hIMNREW7w_XpHYB_0q.png" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> GitHub </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 引導式對話 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 開發 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>主動反問釐清需求!GitHub Copilot新添引導式對話功能 </strong></span></p>
<p>日前,GitHub更新Copilot助理,新添引導式對話能力,並在Visual Studio 2022 17.12第3預覽版上線。GitHub Copilot開發團隊指出,這項更新可讓Copilot在需求不清楚時,能主動提問開發者、釐清上下文,協助開發者更快完成任務。</p>
<p>他們表示,在之前的版本中,不少開發者要花時間思考,如何正確表達需求,可能還要篩選過多的生成內容。但新功能可減少開發者寫提示詞的困擾,能隨開發者需求調整回應,提供精簡的資訊。同時,GitHub Copilot也整合資料處理工具Data Wrangler,開發者能以自然語言進行資料清理與轉換,並透過資料的上下文生成程式碼,更精準地處理資料。<a href="https://devblogs.microsoft.com/visualstudio/conversational-way-to-chat-with-github-copilot/">(詳全文)</a></p>
<p>圖片來源/史丹佛大學、微軟、Hugging Face</p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p>
<p><strong>1. <a href="https://www-api.moda.gov.tw/File/Get/adi/zh-tw/L718KPmYBQyMkd7">數位部數位產業署回覆民間對加強投資AI新創計畫的民間意見</a></strong></p>
<p><strong>2. <a href="https://www.apple.com/newsroom/2024/10/apple-intelligence-is-available-today-on-iphone-ipad-and-mac/">蘋果Intelligence第一波功能上線了</a></strong></p>
<p><strong>3. <a href="http://微軟替記事本及小畫家添增AI能力,改寫與自動填補邁入預覽">微軟替記事本及小畫家添增AI能力,改寫與自動填補邁入預覽</a></strong></p>
<p><strong>4. <a href="https://www.alibabanews.com/%E9%98%BF%E9%87%8C%E9%9B%B2%E9%96%8B%E6%BA%90%E4%BB%A3%E7%A2%BC%E6%A8%A1%E5%9E%8Bqwen25-coder%E5%85%A8%E7%B3%BB%E5%88%97/">阿里雲開源Qwen 2.5-Coder全系列模型</a></strong></p>
<p><strong>5. <a href="https://recruit.cathayholdings.com/CathaybkHR/servlet/HttpDispatcher/EZA0_0320/jobDetail?applFormNo=I00018112&utm_source=fb&utm_campaign=2024q4_experienced_recruit&utm_content=bank">國泰金控廣徵500名AI、IT和國際人才</a></strong></p>
<p>資料來源:iThome整理,2024年11月</p>
</div></div></div>