AI趨勢周報第255期: Google DeepMind開源核融合裝置模擬器TORAX
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <h3><span style="vertical-align: top; color: rgb(0, 0, 255);">重點新聞(0607~0613)</span></h3> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 核融合 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> JAX </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> DeepMind </span></strong></span></p> <p><span style="font-size: 22px;"><strong>Google DeepMind打造核融合裝置模擬器TORAX,還開源了</strong></span></p> <p>最近,Google DeepMind開源一款可微分的托卡馬克(Tokamak)核心運輸模擬器TORAX,採JAX框架,以Python實作。這款TORAX結合了物理模組和機器學習模型,可用來計算托卡馬克核融合裝置中,離子熱傳輸、電子熱傳輸、粒子傳輸和電流擴散的耦合方程式。</p> <p>尤其JAX框架具有即時編譯和自動微分的優勢,TORAX可快速執行運算,也能實現梯度最佳化和基於Jacobi矩陣的PDE求解器。而且,JAX對類神經網路的開發和推論支援,也大幅促進了物理模型和機器學習代理的耦合。團隊也以RAPTOR碼來驗證TORAX,證明模擬等離子分布的結果是一致的。Google DeepMind表示,TORAX提供強大、多功能的工具,可用來實現快速且準確的前向建模、脈衝設計、軌跡優化和控制器設計,目前已<a href="https://github.com/google-deepmind/torax">在GitHub上開源</a>,要促進更多核融合的研究。<a href="https://torax.readthedocs.io/en/latest/index.html">(詳全文)</a></p> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Transformer </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> CNN </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 局部性 </span></strong></span></p> <p><span style="font-size: 22px;"><strong>Meta AI證實Transformer能跳脫鄰近局部性框架</strong></span></p> <p>日前,Meta AI和阿姆斯特丹大學發表最新研究,發現Transformer模型不必按照電腦視覺模型長年遵守的鄰近局部性(Locality),也能直接處理圖像中的單個像素,且表現更好,雖然因序列更長、運算成本更高。</p> <p>進一步來說,傳統電腦視覺架構,如卷積網路(CNN)、ViT等,都假定圖片中的鄰近像素更相關,並透過卷積核、池化操作和圖像切片等技術來計算鄰近像素,也因此出現將圖像分割為多個16x16的區塊、將這些區塊視為1個Token來計算的作法。這就是長久以來的鄰近局部性基本假設。</p> <p>但Meta AI和阿姆斯特丹大學以Transformer實驗,將每個像素視為一個個Token來處理,摒除了圖像2D網格結構的假設。他們將這種模型稱為PiT,經測試,PiT在物件分類、圖像生成等任務表現優異,甚至在某些領域,還大幅優於傳統方法。團隊表示,他們並非提倡以PiT取代ViT,而是證明Transformers透過對圖片單一像素運算(而非16×16的區塊),可達到非常好的表現,意味著模型能從單一像素中捕捉更多訊號。而這一發現,也挑戰了電腦視覺任務必須要有局部性的傳統觀念。<a href="https://arxiv.org/abs/2406.09415">(詳全文)</a></p> <p><img alt="" src="https://arxiv.org/html/2406.09415v1/x1.png" /></p> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 糖尿病 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Google Cloud </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 健保署 </span></strong></span></p> <p><span style="font-size: 22px;"><strong>健保署聯手Google要打造糖尿病風險預測AI</strong></span></p> <p>健保署日前宣布聯手Google,展開為期5年的合作,要使用Google雲端算力資源、MedLM基礎模型、Vertex AI平臺和資料處理工具等,來與國衛院共同打造專屬臺灣的疾病風險預測模型,第一波瞄準糖尿病風險預測模型。這是因為,在臺灣每10人就有1人罹患糖尿病,且其併發症嚴重,如心血管疾病、腎病、視網膜及神經病變等,需及早介入預防與治療。</p> <p>在模型訓練資料部分,健保署會採用去識別化的性別、年齡、家族病史、風險資訊、國際疾病分類代碼ICD-10和檢驗檢查等資料,同時透過國衛院專業知識找出更多參數,來訓練糖尿病風險預測模型。完成後,模型會透過健保署健保雲執行,醫療院所醫師上傳資料到健保雲,模型運算後會傳送結果給醫師和民眾。這個風險預測分2種,一是針對未患糖尿病的民眾,模型會提供10年內、5年內和1至3年內的罹病風險,另一是患糖尿病民眾,模型會提供數種風險預測,如總住院率、特定原因住院率、死亡率、慢性病罹患率等。</p> <p>其中,風險高低會以燈號表示,作為分級醫療參考,比如綠色為低風險、黃綠色為有風險、黃色是中風險、黃橙色中高風險、紅橙色高風險,紅色則是嚴重風險。風險較低的民眾可建議至衛生所、門診就醫,黃色燈號則可轉介至地區醫院、黃橙色至區域醫院,高風險和嚴重風險則至醫學中心,以此達到分級醫療目標。石崇良表示,健保署與Google聯手打造的糖尿病風險預測AI是第一波應用,藉此拋磚引玉,來推動、擴大到更多慢性病和三高疾病風險管理。<a href="https://www.ithome.com.tw/news/163442">(詳全文)</a></p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E5%AE%B6%E9%86%AB%E5%A4%A7%E5%B9%B3%E8%87%BA.JPG" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Nvidia </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> HelpSteer2 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> LLM </span></strong></span></p> <p><span style="font-size:22px;"><strong>Nvidia開源HelpSteer2資料集,可低成本確保LLM與人類偏好一致</strong></span></p> <p>最近,Nvidia開源一款資料集HelpSteer2,可用來訓練先進的獎勵模型,來引導大型語言模型(LLM)產出與人類偏好一致的回答。這個資料集共有10,681組提示和回答,並由1,000多名美國註釋者按Likert量表,對5種屬性標註。</p> <p>此團隊表示,他們用HelpSteer2資料集來訓練自家3,400億參數的Nemotron-4基本模型後,在RewardBench主要資料集測試,達到了最先進的92.0%準確率,優於任何現有的開放和專有模型。而且,這個資料集才1萬多個提示-回答組,比起現有的偏好資料集(如HH-RLHF)動輒數百萬組,大幅降低了運算成本。 團隊表示,這個資料集可用來對齊Llamna-3-70B等這類LLM,來提高與人類偏好的一致性。<a href="https://huggingface.co/papers/2406.08673">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 蘋果 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> ChatGPT </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Apple Intelligence </span></strong></span></p> <p><span style="font-size:22px;"><strong>整合ChatGPT!蘋果新推Apple Intelligence智慧功能</strong></span></p> <p>蘋果在日前舉行的WWDC開發者大會上發表AI服務Apple Intelligence,將進駐macOS Sequoia、iOS 18與iPadOS 18等蘋果作業系統。同時,蘋果也宣布與OpenAI合作,將在Siri、Writing Tools中整合GPT-4o驅動的ChatGPT。</p> <p>進一步來說,這款Apple Intelligence提供多項AI功能,包括寫作工具Writing Tools、圖像創作工具Image Playground、可客製化表情符號的Genmoji,以及強化的Siri。其中,Writing Tools可讓使用者在郵件、備忘錄、Pages或第三方的程式中,改寫、校對或摘要文本,還能透過Compose功能來存取ChatGPT的圖像工具,可在文字中嵌入圖像。</p> <p>再來,Image Playground將內建於訊息、Keynote、Pages等蘋果原生應用程式中,並支援採用Image Playground API的第三方程式,使用者可在幾秒內以文字描述、所挑選的主題、服裝、配件、地點或個人來創作圖像,還能以動畫、插圖或素描的方式呈現。Genmoji則允許使用者以文字描述來客製化表情符號。Apple Intelligence也改善了照片/影片搜尋功能,能以自然語言搜尋特定照片,例如「臉上貼著貼紙的Katie」,或找到影片中的特定段落。<a href="https://www.apple.com/newsroom/2024/06/introducing-apple-intelligence-for-iphone-ipad-and-mac/">(詳全文)</a></p> <p><img alt="" src="https://www.apple.com/newsroom/images/2024/06/introducing-apple-intelligence-for-iphone-ipad-and-mac/article/Apple-WWDC24-Apple-Intelligence-hero-240610_big.jpg.large_2x.jpg" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> PyTorch </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 漏洞 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Huntr </span></strong></span></p> <p><span style="font-size:22px;"><strong>開源機器學習框架PyTorch存在重大漏洞</strong></span></p> <p>今年4月,有研究者向漏洞懸賞平臺Huntr通報開源機器學習框架PyTorch存在重大層級漏洞CVE-2024-5480,CVSS風險評分達到10分,影響2.2.2版以前的PyTorch。對此,Huntr向通報者提供1,500美元獎勵,並在日前公布細節。</p> <p>這漏洞位於torch.distributed.rpc框架,開發者使用該框架執行RPC呼叫時,該框架未驗證相關功能是否如開發者預期執行,因此攻擊者能藉機透過網路使用RPC呼叫Python功能,進而載入Python程式庫並執行任意命令。這個框架通常用於分散式訓練,如增強式學習、模型平行化等,因此影響範圍相當廣泛。研究人員也提供概念性驗證(PoC)程式碼,並指出該漏洞可能帶來的影響:由於攻擊者可將其用來遠端攻擊分散式訓練的master節點,一旦這些節點遭到入侵,對方就有機會竊取與AI有關的敏感資料。<a href="https://huntr.com/bounties/39811836-c5b3-4999-831e-46fee8fcade3">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> ChromeOS </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Android </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AI </span></strong></span></p> <p><span style="font-size:22px;"><strong>要加速AI創新應用,ChromeOS將重整Android技術架構</strong></span></p> <p>Google日前宣布,ChromeOS很快就會重整Android技術架構,包括把Android Linux核心和Android框架當作ChromeOS基礎,來加速ChromeOS執行AI創新應用或其他新功能的速度。</p> <p>其實ChromeOS一直在向Android靠攏,Google自2016年就讓ChromeOS用戶執行Android程式,隔年更宣布採用ChromeOS的所有Chromebook筆電都將支援Google Play和Android程式。此外,自今年3月發表的ChromeOS 122起,ChromeOS也開始改用Android的藍牙架構Fluoride。Google解釋,把Android技術架構導入ChromeOS,可加速ChromeOS核心的AI創新腳步,簡化工程任務,有助於手機等各種裝置與Chromebook更相容。<a href="https://blog.chromium.org/2024/06/building-faster-smarter-chromebook.html">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> OpenAI </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 甲骨文 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 微軟 </span></strong></span></p> <p><span style="font-size:22px;"><strong>OpenAI採用甲骨文雲端為基礎架構</strong></span></p> <p>甲骨文和OpenAI宣布合作,OpenAI將採用甲骨文雲端基礎架構(OCI),來擴展微軟Azure AI的基礎架構,加速執行模型推論等任務。這項合作涉及OpenAI、微軟Azure和甲骨文等3家業者,目的是要OCI作為類似備援方案,可從微軟Azure AI擴展到甲骨文雲端,來提供負載更高的處理能力。</p> <p>其中,光是OpenAI的ChatGPT AI服務,每月用戶數就超過1億,是最吃運算資源的任務。這項合作是讓OpenAI使用「OCI基礎架構上的Azure AI平臺」,來執行推論和其他作業,OpenAI最尖端的模型仍執行在與微軟合作的超級電腦上。<a href="https://www.oracle.com/news/announcement/openai-selects-oracle-cloud-infrastructure-to-extend-microsoft-azure-ai-platform-2024-06-11/">(詳全文)</a></p> <p>圖片來源/Meta AI、Apple</p> <p>攝影/王若樸</p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p> <p><strong>1. 微軟將預設關閉Copilot+ PC中的Recall功能,以平息隱私疑慮</strong></p> <p><strong>2. Databricks聯手Shutterstock推出企業級文生圖AI服務ImageAI</strong></p> <p><strong>3. 杜拜發起100萬提示者計畫(One Million Prompters),要在3年內培訓100萬名懂提示工程的AI人才</strong></p> <p>資料來源:iThome整理,2024年6月</p> </div></div></div>