<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <h3><span style="vertical-align: top; color: rgb(0, 0, 255);">重點新聞(0503～0509)</span></h3>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);">LLM </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> xLSTM </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Transformer </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>取代Transformer？LSTM之父發表新LLM架構</strong></span></p>
<p>長短期記憶（LSTM）網路是一種熱門的類神經網路架構，由德國和瑞士的電腦科學家Sepp Hochreiter、Jürgen Schmidhuber共同在1997年提出，可用來解決遞迴歸類神經網路（RNN）在長期記憶力不足的問題。但最近，Sepp Hochreiter提出一種新架構<a href="https://arxiv.org/abs/2405.04517">xLSTM</a>（即Extended LSTM），可解決LSTM長久以來的主要痛點，也就是只能按時序處理、無法像Transformer一樣，同時處理所有資訊。進一步來說，與Transformer相比，LSTM的儲存能力有限，也無法平行化有效率地運算，不如Transformer可平行化同時處理所有Token。</p>
<p>因此，為解決這些問題，Sepp Hochreiter在新的xLSTM架構中，採用了指數型閘門（Gating）方法，同時修改了記憶體結構，包括導入sLSTM和mLSTM，前者帶有純量記憶體和新的記憶體混合方法，後者則帶有矩陣記憶體和更新規則，可完全執行平行化，也就類似Transformer可同時對所有Token處理。這些設計，讓xLSTM在處理新資料時能更有效率運用記憶體，但雖然sLSTM增強了狀態追蹤能力，卻也延長了模型訓練和推理時間。經測試，團隊用150億個Token訓練以Transformer架構為基礎的LLM、RWKV和xLSTM，評估時發現xLSTM表現最好，尤其是在語言建模方面。此外他們也發現，xLSTM架構遵循與Transformer LLM類似的擴展法則。<a href="https://twitter.com/HochreiterSepp/status/1788072466675335185?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1788072466675335185%7Ctwgr%5E3a36aab61b3f19c52df4e3020beadd1bf4eac3bc%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fanalyticsindiamag.com%2Fthe-inventor-of-lstm-unveils-new-architecture-for-llms-to-replace-transformers%2F">（詳全文）</a></p>
<p><img alt="" src="https://lh7-us.googleusercontent.com/dBfdy0GR1Y52kyTF8QxN5J6d59Guqd_5kzwR_37PupgVfHfnyUt0WWHGl42Gx0UkjNgwvD7fwPYGNVIPPyoi0clzXl34xVWpfRXcEIvgvlPGShLNRqlYvtJKOA-n3y5XjgHJqUeLzd-AbWpP0sayl0k" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);">DeepMind </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 分子結構 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AlphaFold 3 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>不只是蛋白質結構，DeepMind發表可預測所有生命分子結構的AlphaFold 3模型</strong></span></p>
<p>Alphabet旗下AI研究公司DeepMind與新藥開發公司Isomorphic Labs聯手發表AlphaFold 3模型，可用來預測所有生命分子的結構與相互作用，而且在預測蛋白質與其它分子類型的相互作用上，準確率比PoseBusters基準測設中最好的傳統方法高出50%。</p>
<p>進一步來說，DeepMind在2020年發表的AlphaFold 2主要提供蛋白質結構預測，迄今全球已有數百萬名研究人員利用AlphaFold 2來發現瘧疾疫苗或癌症治療方法。而最新的AlphaFold 3模型也以AlphaFold 2為基礎，只是將預測能力，從蛋白質擴大到廣泛的生物分子，能用來加速開發生物可再生材料、藥物設計和基因研究等。該研究已登上《自然》科學期刊。</p>
<p>同時，DeepMind也推出免費但只限於研究用途的AlphaFold Server平臺，可用來預測蛋白質如何與細胞中的其它眾多分子相互作用，每個任務最多支援5,000個Token，每天最多只能執行10個任務。<a href="https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/">（詳全文）</a></p>
<div class="media_embed" height="408px" width="725px">
<iframe allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen="" frameborder="0" height="408px" referrerpolicy="strict-origin-when-cross-origin" src="https://www.youtube.com/embed/9ufplEgtq8w" title="AlphaFold Server Demo - Google DeepMind" width="725px"></iframe></div>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Llama 3 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> TAIDE </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>國科會揭TAIDE計畫最新成果</strong></span></p>
<p>去年2月，國科會宣示將結合臺灣在地文化推出本地的LLM模型，並集結國內產學研資源推動可信任AI對話引擎（TAIDE）計畫。今年5月初，國科會進一步展示TAIDE最新進展，包括今年4月中釋出的模型TAIDE LX-7B，有商用版和學研用版本，另也釋出130億參數的模型TAIDE LX-13B，這些模型在摘要、寫信、寫文章、英翻中、中翻英等都有不錯的表現，並具備多輪對話、阻絕不恰當回應的能力。</p>
<p>同時，Meta在4月中釋出Llama 3，國科會團隊也花4天就快速更新版本，打造Llama 3-TAIDE-LX-8B-Chat-Alpha 1測試版，並於4月29日在Hugging Face釋出。計畫負責人李育杰表示，為讓全民都能使用TAIDE，團隊壓縮TAIDE 7B模型，現在模型已可在手機、筆電、平板電腦、桌機上執行。</p>
<p>目前也有不少團隊用TAIDE打造不同應用，比如陽明交大以ChatGPT和TAIDE開發一套台客語對話平臺，能以語音對話，電腦可以華台客英語，以聽說讀寫翻譯或是回覆對話。高雄大學也打造一款Kuwa GenAI OS（下圖），為本土開發的開源碼生成式AI應用平臺，搭載TAIDE模型，強調可讓個人或企業在地端執行TAIDE生成式AI應用服務。其他還有中興大學以農業知識庫開發的神農TAIDE、工研院電光所的鋼鐵產業問答助理、叡揚資訊的生成式AI公文生成系統。<a href="https://www.ithome.com.tw/news/162663">（詳全文）</a></p>
<p><img alt="" src="https://s4.itho.me/sites/default/files/images/kuwa-600.jpg" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 開發助理 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 甲骨文 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 程式碼 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>甲骨文也推出AI開發助理了</strong></span></p>
<p>繼微軟、Google、OpenAI、GitHub等科技龍頭推出AI開發助理後，甲骨文也加入這個行列，最近推出了程式開發助理Oracle Code Assist，能幫助使用者開發Java程式。</p>
<p>Oracle Code Assist是以甲骨文雲端Oracle Cloud Infrastructure（OCI）模型為底層，為Java、SQL程式和OCI上的應用開發來優化。甲骨文強調，這個開發助理以多種軟體程式庫訓練而成，也透過自家軟體應用微調而成，使用者可以自然語言互動，開發助理可處理程式碼生成、產生API文件、註解或評論等功能，還能提供重點解釋，幫助開發人員了解開發原理、檢視或重新組織現有程式碼。它也能提供修改建議，或產生pull request來將程式碼變更，合併到軟體程式庫中。使用者還能透過這個助理，來建立單元或功能測試。</p>
<p>甲骨文表示，Oracle Code Assist還有些進階功能，如可整合企業程式碼框架、函式庫等來提供客製化建議，另也能檢查自己產生的程式碼，以免用到不當授權的程式碼，或是將程式碼以新版函式庫更新。它也能根據企業軟體開發的最佳實作，來檢查程式錯誤和效率低落之處。<a href="https://www.oracle.com/news/announcement/oracle-code-assist-can-help-developers-build-applications-faster-with-ai-2024-05-07/">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI開發 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Red Hat </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Granite </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Red Hat推出AI平臺，內建IBM開源Granite模型</strong></span></p>
<p>又有一款生成式AI開發平臺可選擇了，Red Hat日前發表一款AI平臺Red Hat Enterprise Linux AI（RHEL AI），企業用戶可用來在混合雲環境開發、測試和部署生成式AI模型。RHEL AI是Red Hat首個基礎架構模型平臺，內建IBM研究院開源的大型語言模型（LLM）Granite和其他開發工具。IBM表示，整個解決方案將打包成一個RHEL映像檔，可用於混合雲上部署單一伺服器，此外，RHEL也會整合到混合雲MLOps平臺OpenShift AI中。</p>
<p>Granite是IBM研究院開發的旗艦級LLM，去年9月正式發布，包含4個版本，可用於AI助理、財務應用、多語言翻譯（英、西、葡、德、法文）等應用，另也有日文專用版本。而RHEL AI內建的是Granite 70億參數模型，以Llama 2-7B為基礎，用2兆Token資料集訓練而成，可支援4,000個Token的文長。除了Granite模型，該平臺還包含IBM研究院打造的模型訓練方法與工具，也就是Large-scale Alignment for chatBots（LAB），可減少人員標註成本、降低模型開發門檻，也能提供大量生成資料，來加速模型的訓練與優化。<a href="https://code.visualstudio.com/updates/v1_59#_terminal">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Stack Overflow </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> OpenAI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AI助理 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>熱門開發者論壇Stack Overflow聯手OpenAI，將優化Chatbot功能</strong></span></p>
<p>開發者論壇Stack Overflow在5月7日宣布與OpenAI簽署合作協議，允許OpenAI用該平臺內容來訓練大型語言模型，而Stack Overflow也將利用OpenAI模型來強化自家的AI服務OverflowAI。Stack Overflow是個熱門的開發者論壇，開發者可在平臺上透過QA來解決各種疑難雜症。在ChatGPT剛問世時，Stack Overflow曾因擔心而一度封鎖GenAI內容，但隨著GenAI品質的改善，Stack Overflow先在今年3月宣布與Google合作，讓Gemini得以透過OverflowAPI存取知識庫，在開發人員呼叫Gemini時提供開發建議、程式碼及回答問題。</p>
<p>日前Stack Overflow與OpenAI的合作同樣能讓OpenAI存取OverflowAPI，也允許OpenAI藉Stack Overflow社群提供的內容來改善OpenAI模型，並會在ChatGPT中將特定內容標註來自Stack Overflow。OpenAI和Stack Overflow的首批合作功能預計在今年6月前推出，意味著ChatGPT將可提供來自Stack Overflow且經驗證的技術知識。<a href="https://stackoverflow.co/company/press/archive/openai-partnership">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI晶片 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> M4 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 蘋果 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>蘋果發表最新AI晶片</strong></span></p>
<p>在今年年會上，蘋果發表新一代M4晶片，並更新iPad產品線，推出首個採用M4晶片的iPad Pro和採用M2晶片的iPad Air。M系列是蘋果自行設計的晶片，去年10月才發表M3，不到一年就推出M4，這個M4採台積電3奈米製程，由280億個電晶體組成，搭載最多10核心的CPU，包括4個效能核心與6個節能核心，兩者都具備強化的新一代機器學習（ML）加速器。而同樣搭載最高10核心的GPU則支援動態快取功能，可提高GPU的平均利用率。</p>
<p>蘋果指出，M4擁有飛快的神經網路引擎（Neural Engine），這是專門用來加速AI任務的IP區塊，每秒可執行38兆次的運算，是A11 Bionic晶片的60倍快，再搭配CPU的ML加速器、高效能的GPU，以及更高頻寬的統一記憶體，讓M4成為超強AI晶片。這個特性，讓搭載M4晶片的iPad Pro，成為可支援AI運算的裝置，例如在Final Cut Pro中輕點一下，就能輕鬆地分離4K影片中的主體及背景。<a href="https://www.apple.com/tw/newsroom/2024/05/apple-introduces-m4-chip/">（詳全文）</a></p>
<p><img alt="" src="https://www.apple.com/newsroom/images/2024/05/apple-introduces-m4-chip/article/Apple-M4-chip-display-engine-240507_big.jpg.large_2x.jpg" /></p>
<p>圖片來源／Sepp Hochreiter、DeepMind、蘋果</p>
<p>攝影／蘇文彬 </p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p>
<p><strong>1. AWS生成式AI開發助理Amazon Q正式可用</strong></p>
<p><strong>2. Google Cloud推出AI安全方案，整合Gemini、Mandiant和VirusTotal技術</strong></p>
<p><strong>3. MongoDB推出一站式企業GAI應用開發工具方案</strong></p>
<p>資料來源：iThome整理，2024年5月</p>
</div></div></div>
