AI趨勢周報第249期:生成模型越大未必越好,Google揭露新研究發現
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <h3><span style="vertical-align: top; color: rgb(0, 0, 255);">重點新聞(0329~0405)</span></h3> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Google </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 效能 </span></strong></span></p> <p><span style="font-size: 22px;"><strong>生成模型越大未必越好,Google揭露新研究發現</strong></span></p> <p>Google聯手約翰霍普金斯大學,針對圖像生成模型做了項擴展性和效率的研究,並發現模型並非越大越好。進一步來說,團隊鎖定潛在擴散模型(LDM)的大小和採樣效率,其中,LDM是圖像生成的常用模型,擅長根據文字描述,生成高品質圖像。</p> <p>在研究中,團隊訓練了12個文字轉圖像的LDM,這些模型大小不一,從3,900萬到50億個參數不等。接著,團隊用各種任務來評估模型表現,包括文字生成圖像、提高解析度、主題驅動的合成等。他們發現,在給定的有限運算資源下,小模型的表現比大模型要好,能產生更高品質的圖像。而且,小模型的採樣效率在各種擴散採樣器中都是一樣的,就算在蒸餾模型中也是。換句話說,小模型的優勢,不限於特定的取樣技術或模型壓縮方法。</p> <p>不過,研究也發現,當運算資源沒特別限制時,大模型依然擅長生成顆粒度更細緻的細節。意思是,小模型雖然可能更有效率,但在某些情況下,仍需要大模型。團隊認為,該研究影響深遠,因為了解LDM擴展性、模型大小和效能的狀態後,開發者可在效率和品之間取得平衡,打造所需的AI模型。<a href="https://arxiv.org/abs/2404.01367">(詳全文)</a></p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E8%9E%A2%E5%B9%95%E6%93%B7%E5%8F%96%E7%95%AB%E9%9D%A2%202024-04-08%20155721.png" /></p> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 國科會 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 選拔賽 </span></strong></span></p> <p><span style="font-size: 22px;"><strong>國科會發起GenAI Stars生成式AI百工百業應用選拔</strong></span></p> <p>為推動生成式AI應用,國科會宣布舉辦首屆GenAI Stars生成式AI百工百業應用選拔,分為創意創客組、創新創業組兩大類。其中,創意創客組是針對高中職、大專院校和社會人士,可細分為高中職組和大專社會組兩組,參賽者可使用生成式AI工具,來進行創意應用,同時,創意創客組參賽者也能參加企業挑戰題目,也就是由多家知名企業提出的題目,詳細出題內容、解題資源和獎勵預計在4月12日公布。</p> <p>而創新創業組則針對國內外企業、新創、學研單位、政府機關或自組團隊參加,競賽主題為與生成式AI有關的企業內部解決方案,或是創新產品與服務,評審將優先考量有邊緣運算的應用。特別的是,通過複審、進入決審的20組團隊,可獲得每隊10萬元輔導金、技術資源(如算力、GenAI工具等)、深度輔導資源,最後決審將篩選出的前三名隊伍,可分別獲得150萬元、100萬元和50萬元。GenAI Stars生成式AI百工百業應用選拔即日起開放報名,至5月15日下午3點為止。<a href="https://genaistars.org.tw/booster">(詳全文)</a></p> <p> </p> <div class="media_embed" height="315px" width="560px"> <iframe allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen="" frameborder="0" height="315px" referrerpolicy="strict-origin-when-cross-origin" src="https://www.youtube.com/embed/VUr8Uzh3AhE?si=PRLgRLh04-KnuB4e" title="YouTube video player" width="560px"></iframe></div> <p> </p> <p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 文字嵌入 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Google </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Gecko </span></strong></span></p> <p><span style="font-size: 22px;"><strong>Google發表強大的文字嵌入模型Gecko</strong></span></p> <p>日前,Google團隊發表一款文字嵌入模型Gecko,可將大型語言模型(LLM)提取到檢索器中,來實現強大的檢索效能。進一步來說,文字嵌入模型目的是將自然語言轉換為密集向量,將語義相似的文字放在距離相近的嵌入空間,就像是電腦的翻譯機,將文字轉為電腦可理解的數字。有了文字嵌入,電腦就能用來執行各種下游任務,如文件檢索、分類等。</p> <p>而Gecko是一款通用的文字嵌入模型,有別於以往只為單個下游任務建立各自的嵌入模型,Gecko由LLM加持,單一個模型就能支援多種下游任務。Gecko的運作方式可分為2步驟,首先是用LLM生成一組組多樣的資料,再來是精煉這些資料品質,也就是為每個查詢,用檢索方式找出一系列的候選文章段落,並用同一個LLM,來對文章段落的正負值重新貼標。</p> <p>也就是說,在一個大型未標註段落的語料庫中,團隊使用少樣本提示,讓LLM為每個段落生成相關的任務和查詢。接著,他們將預訓練嵌入模型,嵌入一連串的任務和查詢,來獲得最相近的段落,並用LLM對段落重新排序,同時根據LLM評分來得出正負向的段落。這種方法,讓Gecko實現強大的檢索表現,不過該模型尚未開源。<a href="https://arxiv.org/abs/2403.20327">(詳全文)</a></p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E8%9E%A2%E5%B9%95%E6%93%B7%E5%8F%96%E7%95%AB%E9%9D%A2%202024-04-08%20174123.png" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Cloudflare </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Workers AI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Hugging Face </span></strong></span></p> <p><span style="font-size:22px;"><strong>Workers AI正式上線,還支援Hugging Face一鍵部署模型</strong></span></p> <p>最近,CDN服務大廠Cloudflare發布推理平臺Workers AI的一系列更新,包括完成公測、正式上線,能提供更高的可靠性和效能,並公開定價,還在目錄中新增更多模型。在效能部分,他們升級了Workers AI內建的負載平衡,另也提供更多城市、更多GPU資源來處理請求,還能靈活將請求分派至可用站點。在正式版本中,Cloudflare也提高了模型速度上限,將原本大型語言模型(LLM)每分鐘只能接收50個請求,提高至每分鐘300個請求,小模型則是每分鐘1,500個至3,000個。</p> <p>此外,Workers AI還與Hugging Face聯手,新添了可支援的4個模型,包括 Mistral 7B v0.2、Mistral 7B、Google的Gemma 7B和Starling-LM-7B-beta。而且,使用者可在Hugging Face的模型卡頁面,在部署欄位點擊Cloudflare Workers AI,就能利用Cloudflare全球GPU網路資源來直接部署模型。目前,Hugging Face支援的模型<a href="https://huggingface.co/collections/Cloudflare/hf-curated-models-available-on-workers-ai-66036e7ad5064318b3e45db6">共有14個</a>,接下來還會有更多模型加入。</p> <p>另一方面,Workers AI也發布了10個非測試版的計價器,來提供使用者更划算的用法。與之類似的還有新版儀表板,可顯示跨模型的使用狀況分析,包括神經元計算,可幫助使用者預測價格。Cloudflare也更新了AI試煉場,可讓使用者快速測試和比較不同的模型,並設定提示和參數。<a href="https://blog.cloudflare.com/zh-tw/workers-ai-ga-huggingface-loras-python-support-zh-tw/">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> LLM </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Opera </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 瀏覽器 </span></strong></span></p> <p><span style="font-size:22px;"><strong>在本機就能執行和測試LLM!Opera瀏覽器推出新功能</strong></span></p> <p>網頁瀏覽器Opera最近發布一項新功能,用戶可將大型語言模型(LLM)下載到本機端執行或測試,不必再連上伺服器端,意味著資料不須離開電腦。在這項新功能中,Opera支援近50個系列、共150款本機端LLM,包括Meta的Llama、Vicuna、Google的Gemma和Mistral AI的Mixtral等,允許用戶透過瀏覽器下載。</p> <p>新功能目前以測試版發布給Opera One開發人員。Opera One是去年6月推出的AI瀏覽器,整合原生AI技術的瀏覽器,目前也整合Opera自家的AI助理Aria Chat。目前,開發者可下載Opera One開發者版測試,在本機上使用所支援的LLM和Opera實驗性AI功能。<a href="https://blogs.opera.com/news/2024/04/ai-feature-drops-local-llms/">(詳全文)</a></p> <p><img alt="" src="https://lh7-eu.googleusercontent.com/pumXJU1xbXiMhekSNE3tG5__YZH_KQm6LbQHBj1ttaxwzF-MVU12tz0ETJkatKC4hXpeAJrG4Qd-B91eljoP_bf5lB-R_Pvauv7ueZvrGLYWihQkGwzfZQ2UsVAFVDmVbErMq_nfZvyWm0D9hNlZgwU" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 天氣 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Google </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span></p> <p><span style="font-size:22px;"><strong>Google打造生成式AI天氣預報模型</strong></span></p> <p>最近,Google發表最新天氣預報研究,採用機率擴散模型生成式AI,開發出SEEDS天氣預報模型,可有效、大規模產生天氣預報系集,成本還遠低於傳統物理預報模型。機率擴散模型是一種機器學習生成式AI技術,實作上可分為2步驟,一是添加雜訊,從原始資料逐步增加隨機雜訊,直到資料完全變成隨機雜訊。這個過程稱為前向擴散,就像是在一張清晰的圖片逐漸添加雜訊點,直到圖片上滿是隨機雜訊。再來是移除雜訊,由機率擴散模型反向擴散,將充滿雜訊的資料移除雜訊,最終恢復接近原始資料的新資料。</p> <p>機率擴散模型中的機率性,就是在去雜訊的過程,每一步都考慮多種去雜訊的可能路徑,這種作法,能生成多種且高品質的資料樣本。這個能力,在天氣預報的應用中,能生成一系列可能的天氣狀況,也就是系集預報,來反應未來天氣的不確定性和多樣性。最重要的是,與需要超級電腦耗費數小時運算的傳統天氣預測相比,SEEDS模型的計算成本幾乎可忽略,在Google雲端TPUv3-32執行個體上,每3分鐘就能產生256個系集成員。<a href="https://blog.research.google/2024/03/generative-ai-to-quantify-uncertainty.html">(詳全文)</a></p> <p><img alt="" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEglI5U51vvhkA4cAuVvMLn0TbbL5pdlFL-LO1sNnqLyUieA6A88I5HrhJlszxR1GKQqSK5wsdlATDKSy6EC1BsNF7tzS6oVlFLtau13mVFLk954nFu85HDMP3PrQboG4eXExEtUjEuDRFpcrMqE_F0ikSwXiWBECAfJiLbjr6h6523DROJkbC284xX35zC7/s16000/image3.gif" /></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Azure AI </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 微軟 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 提示注入 </span></strong></span></p> <p><span style="font-size:22px;"><strong>微軟推出Azure AI安全工具,防止惡意提示和AI幻覺</strong></span></p> <p>為防止Azure AI服務和模型,遭輸入惡意指令產出有害內容、洩露個資等問題,微軟最近發布多項工具,可偵測和防範惡意提示,也能防範AI幻覺、模型濫用等問題,目前已提供部份功能測試。</p> <p>進一步來說,這些工具包括提示防護罩及AI模型幻覺偵測、系統範本、越獄評估工具和風險與安全監控。其中,提示防護罩能即時偵測、阻斷基礎模型接收到的惡意提示,另一個是真實性(Groundedness)偵測工具,能偵測文字結果的不真實內容,防範AI模型幻覺問題。另外,微軟也將在Azure AI Studio和Azure OpenAI Service加入安全的系統訊息範本,讓AI應用開發者能建立安全的系統訊息,導引模型使用訓練資料和正確的行為。</p> <p>另一個新工具則是自動化越獄評估,可偵測AI應用被越獄攻擊、產出暴力、自殘、色情、仇恨、歧視內容的可能性,也會以自然語言解釋評估結果。最後,微軟也提供AI應用風險與安全監控工具,能針對黑名單所封鎖的產出內容,提供數量、嚴重性和內容類別,也能分析被標示為有害的用戶輸入訊息,並根據上下文訊號判斷用戶是否濫用。<a href="https://azure.microsoft.com/en-us/blog/announcing-new-tools-in-azure-ai-to-help-you-build-more-secure-and-trustworthy-generative-ai-applications/">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> xAI </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Grok-1.5 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> X </span></strong></span></p> <p><span style="font-size:22px;"><strong>xAI發表Grok-1.5</strong></span></p> <p>繼於3月17日開源大型語言模型Grok-1後,xAI再於3月28日發表Grok-1.5,新版本將支援16倍的脈絡長度,預計近期釋出,並成為X上Grok聊天機器人的底層模型。xAI說明,Grok-1.5是在基於JAX、Rust和Kubernetes的客製化分散式訓練框架上建置,能讓團隊輕鬆測試原型,同時大規模訓練新架。這款客製化的訓練協調器,可自動偵測有問題的節點,並從訓練任務中剔除。為降低故障時的停機事件,團隊也優化了檢查點、資料載入和訓練任務的重新啟動機制。</p> <p>與第一代相比,Grok-1.5有不少進展,在許多基準測試上直追或超越Claude 3 Sonnet和Claude 2,比如Grok-1.5在MMLU(大規模多工語言理解)基準測試的成績為81.3%,超越Claude 2的75%與Claude 3 Sonnet的79%。此外,Grok-1.5也支援128K個Token的脈絡,記憶能力為第一版的16倍,更擅長處理長文件。<a href="https://x.ai/blog/grok-1.5">(詳全文)</a></p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Nvidia </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> MLPerf </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 生成式AI </span></strong></span></p> <p><span style="font-size:22px;"><strong>Nvidia在MLPerf基準測試拿下2個最快</strong></span></p> <p>日前,MLCommons發布MLPerf Inference v4基準測試套件的最新結果,Nvidia一次拿下2個模型最快的冠軍,包括資料中心類別的文生圖模型Stable Diffusion XL和開源語言模型Llama 2 70B。這兩個模型,都是這次測試新納入的模型。</p> <p>MLPerf Inference基準測試套件可分為資料中心和邊緣系統兩個類別,目的是要衡量硬體系統,在各種場景中執行AI模型的速度。就這次新添的模型來說,Llama 2 70B比MLPerf Inference v3.1所納入的GPT-J模型,大了一個量級,是測試高階系統的良好基準。而Stable Diffusion XL則有26億參數,透過生成大量圖像,能透過計算硬體系統的延遲和吞吐量等指標,來了解整體效能。而在邊緣系統類別中,新增的Stable Diffusion XL模型測試則由Wiwynn系統拿下冠軍。<a href="https://mlcommons.org/2024/03/mlperf-inference-v4/">(詳全文)</a></p> <p>圖片來源/Google、國科會、Opera</p> <p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p> <p><strong>1. 微軟研究團隊發表AllHands,一種LLM大規模回饋分析框架</strong></p> <p><strong>2. OpenAI將在東京開設新分部</strong></p> <p>資料來源:iThome整理,2024年4月</p> </div></div></div>