<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <h3><span style="vertical-align: top; color: rgb(0, 0, 255);">重點新聞(0531～0606)</span></h3>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);">LLM </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> RAG </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Meta </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>如何知道RAG能耐？Meta推CRAG測試基準</strong></span></p>
<p>自大型語言模型（LLM）應用興起以來，檢索增強生成（RAG）一直是降低LLM產生幻覺和胡言亂語的主流方法。但如何衡量RAG效力，又是另一門課題。最近，Meta AI團隊就推出一款名為CRAG的測試基準，可用來測試RAG系統的表現，也就是LLM結合外部知識進行問答的能力。</p>
<p>CRAG包含4,409個問答組，測試範圍橫跨5大領域，如金融、運動、音樂、電影和百科，另外包含8種問題類型，像是條件式簡單問題、比較型問題、加總型問題等。CRAG可測試2種RAG能力，包括網路搜尋和API串接形式，讓使用者了解自家系統在動態和靜態事實下的檢索、合成與生成能力。</p>
<p>Meta團隊也用CRAG來評估LLM，發現最先進的語言模型準確率只有34%，透過RAG加持可提升到44%。而且，即便是業界先進的系統，在處理動態和複雜查詢時，也只能回答63%的問題且不產生幻覺。Meta希望透過CRAG，來推動問答系統的創新和進步，克服語言模型的幻覺和知識差距。與此同時，CRAG也是Meta今年3月展開的<a href="https://www.aicrowd.com/challenges/meta-comprehensive-rag-benchmark-kdd-cup-2024">KDD Cup 2024挑戰賽</a>基準，全球已有數千名參賽者來測試、精進自家RAG系統，Meta團隊也會持續擴充CRAG，來推進RAG技術發展。<a href="https://arxiv.org/html/2406.04744v1">（詳全文）</a></p>
<p><img alt="" src="https://i.imgur.com/PqA6pM0.png" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AI機房 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 日月光 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 水冷 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>日月光年底要啟用首座水冷AI機房</strong></span></p>
<p>日月光半導體日前在Computex大會中揭露，將於今年底啟用其位於高雄的首座水冷散熱資料中心。該機房不只是全新AI運算設備基地，更是一座節能標竿機房，目標PUE（能源使用效率）值低於1.2。這個機房是要滿足每年增長1.2倍的AI運算需求，來因應未來兩年AI應用和大型語言模型（LLM）快速發展趨勢。</p>
<p>這座AI機房採用Supermicro的水冷式散熱技術，並由中華系統整合佈建。機房內的伺服器將搭載最新水冷機制，通過冷水直接帶走主機板熱能，取代傳統氣冷的冷熱通道方式。這種設計的機房能耗，比氣冷方式減少了20%以上，有助於達成日月光ESG永續發展目標。該AI機房也將配置多臺AI伺服器機櫃系統，據Supermicro提供的硬體規格，每臺AI伺服器主機內搭載2個32核Intel CPU與8個Nvidia H100 GPU。日月光計畫用這座AI機房加速智慧製造，並在產品生產、工程研發及營運上開發新的AI應用。<a href="https://www.ithome.com.tw/news/163334">（詳全文）</a></p>
<p><img alt="" src="https://s4.itho.me/sites/default/files/styles/picture_size_large/public/field/image/pxl_20240605_065859303.jpg?itok=MTiQMZmg" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 音效生成 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> ElevenLabs </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AI </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>ElevenLabs新AI工具可細緻地生成音效</strong></span></p>
<p>AI新創ElevenLabs專攻語音和聲音技術研究，去年先是推出AI平臺Text to Speech，可讓用戶根據文字設定，合成不同性別、年齡、口音和風格的語音。今年2月，ElevenLabs預告與OpenAI合作，要用其影片生成模型Sora，來打造可為影片配音的AI模型，最近正式公開這款音效生成工具Text to Sound Effects。</p>
<p>Text to Sound Effects可讓使用者調整音效，例如「腳步聲」可細分為高跟鞋、靴子或球鞋的聲音，甚至還能模擬不同環境的音效，如沙地、雪地或葉子上的腳步聲。ElevenLabs也與Shutterstock合作，利用其高品質的合法音訊資料庫微調AI模型，確保生成音效的多樣性和真實性。該工具提供免費及付費版本，免費版用戶需在生成的音效中標註來自ElevenLabs，而付費版本則無需此限制。<a href="https://elevenlabs.io/blog/sound-effects-are-here/">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Nvidia </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI晶片 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> RTX </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Nvidia揭AI晶片計畫，另推RTX新技術和Chatbot專案</strong></span></p>
<p>Nvidia創辦人暨執行長黃仁勳日前在臺大演講中，透露Nvidia AI晶片新計畫，包括加速AI晶片的更新周期、每年推出一款新晶片，尤其是明年將推出的Blackwell Ultra和後年的Rubin，來因應他強調的新工業革命AI浪潮。在日前的Computex大會上，Nvidia發表也最新RTX技術，包括光線追蹤、AI視覺運算、光柵化及模擬等，另推出用來實現相關技術的Nvidia RTX AI Toolkit，集結各種支援Windows平臺的工具和SDK，供開發者客製化AI模型、跨雲端及RTX個人電腦部署。</p>
<p>此外，Nvidia也新推聊天機器人Project G-Assist，這款RTX技術加持的AI助理可用於遊戲，能接收玩家的文字、語音和遊戲視窗快照，並回答遊戲中遇到的問題，如任務指引、物品建議和怪物資訊等。同時，Nvidia也與微軟合作，要助開發者將生成式AI功能整合到Windows原生網頁程式，也能使用API存取GPU加速的小型語言模型（SLM），來更輕鬆部署AI應用。這款API將在今年以開發者預覽版釋出。<a href="https://nvidianews.nvidia.com/news/nvidia-brings-ai-assistants-to-life-with-geforce-rtx-ai-pcs">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI套件 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 樹莓派 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 電腦視覺 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>樹莓派推出70美元AI套件，強化視覺應用</strong></span></p>
<p>樹莓派（Raspberry Pi）日前推出支援Raspberry Pi 5單板電腦的AI套件，售價70美元。該套件是樹莓派與以色列AI公司Hailo Technologies合作開發，目的是要提高AI視覺應用的建置效率。進一步來說，這個AI套件結合了樹莓派的M.2 HAT+擴充板和Hailo-8L AI加速模組，具即時執行、低延遲和低功耗等特性。也因此，Raspberry Pi 5能高效率運行複雜的AI視覺應用，如物體偵測、語義分割、姿勢估計和臉部特徵識別等。</p>
<p>該套件可執行每秒13兆次操作（TOPS）的推論，單通道PCIe 3.0連結傳輸速度為8Gbps，無縫整合Raspberry Pi的作業系統和軟體，也兼容多種相機。此外，它也能在單個或多個相機鏡頭上同時執行多個神經網路。Hailo也建立一個模型資料庫，包含各種預訓練神經網路模型，方便用戶快速部署或優化。此外，為簡化相機與AI應用整合，其專屬rpicam-apps套件現在擁有後處理模板，可將神經網路推論整合至相機工作流程中即時執行，並預裝了Hailo Tappas後處理函式庫，讓用戶只需幾百行C++程式碼便能建置AI應用。這一整合很快也會擴展到Picamera2框架。<a href="https://www.raspberrypi.com/news/raspberry-pi-ai-kit-available-now-at-70/">（詳全文）</a></p>
<p><img alt="" src="https://www.raspberrypi.com/app/uploads/2024/05/AI-kit-disassembled-small.jpg" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 音效 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Stability AI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Stable Audio Open </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Stability AI釋出文字生成音效模型Stable Audio Open</strong></span></p>
<p>Stability AI近日釋出文字生成聲音模型的開源版本Stable Audio Open，使用者輸入文字描述後，就能生成長達47秒的音檔。這個模型是Stability AI以48萬多個音檔訓練而成，其中超過9成來自Freesound，另有少數來自「免費音樂檔案」（FMA），所有音訊都取得免費的共享許可，並使用預訓練T5文字模型來處理、生成文本。</p>
<p>Stability AI表示，Stable Audio Open很適合用來建立鼓點、音樂即興片段、環境音效、模擬錄音或其它與音樂和聲音有關的樣本。開源版本的好處是，使用者可用自己的聲音來調整模型，例如鼓手可加入自己的錄音樣本，來生成新的節奏。<a href="https://stability.ai/news/introducing-stable-audio-open">（詳全文）</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Lunar Lake </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 英特爾 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> AI PC </span></strong></span></p>
<p><span style="font-size:22px;"><strong>英特爾發表新一代AI PC處理器Lunar Lake</strong></span></p>
<p>英特爾在今年度Computex大會揭露新一代筆電處理器Lunar Lake，是Core Ultra系列第二代產品。該處理器每秒可處理48兆次（TOPS），是前一代的3.5倍，耗電量則低了40%。</p>
<p>進一步來說，上個月底微軟發表AI系列筆電Copilot+ PC，首批筆電與高通合作，採高通Snapdragon系列處理器，但Snapdragon的PC產品在市場上份量相對小，下一波預計搭載英特爾和AMD處理器的Copilot+ PC，才會觸及更多主流PC市場。而Lunar Lake就會出現在這批PC中，其搭載的CPU、GPU、NPU算力共有120 TOPS，包含CPU的5 TOPS、GPU的67 TOPS，以及NPU的48 TOPS算力，可更快速執行AI應用。Lunar Lake預計第三季上市，至於搭載Lunar Lake的Copilot+ PC何時會推出，英特爾沒有進一步揭露更多細節。<a href="https://www.intel.com/content/www/us/en/newsroom/news/computex-2024-ai-everywhere-power-performance-affordability.html#gs.a3t61u">（詳全文）</a></p>
<p><img alt="" src="https://www.intel.com/content/dam/www/central-libraries/us/en/images/2024-06/newsroom-intel-lunar-lake-1.jpg.rendition.intel.web.1648.927.jpg" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Google </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 異常偵測 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 半監督 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>資料不足也能有效偵測，Google開源半監督式框架SPADE</strong></span></p>
<p>Google開源一款SPADE半監督式異常偵測框架，能克服其他半監督異常偵測方法，只需少量已標記和大量未標記資料，就能高效率偵測異常。異常偵測應用範圍很廣，涵蓋API安全、金融詐欺、製造缺陷等領域，而Google開發的SPADE使用一組單類分類器（OCCs），作為虛擬標籤器和監督分類器，特別適合用來處理少量已標記資料和大量為標記樣本的資料集。</p>
<p>這是因為，要建立大規模標記資料集不僅耗時且成本昂貴，SPADE利用半監督學習方法，可降低這個成本。在運作方式上，SPADE先使用多個單類分類器來學習資料中的正常樣本特徵，接著，這些分類器分別對未標記的資料進行預測，生成虛擬標籤，猜測異常與正常的資料，但只有當所有分類器一致認為特定樣本為異常時，才會真正將其標記為異常。再來用虛擬標籤和原始標記資料，來訓練監督異常模型，完成後，模型就能用來偵測新資料中的異常。<a href="https://opensource.googleblog.com/2024/05/semi-supervised-anomaly-detection-under-distribution-mismatch.html">（詳全文）</a></p>
<p>圖片來源／Meta AI、樹莓派、英特爾</p>
<p>攝影／余至浩</p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p>
<p><strong>1. AMD發表第3代Ryzen AI筆電處理器，NPU效能達50TOPS、用低能耗帶來新AI體驗</strong></p>
<p><strong>2. Databricks買下Tabular，要改善資料相容性</strong></p>
<p><strong>3. 阿里巴巴發表新款語言模型Qwen2，支援128K Token、多數表現勝過Llama 3</strong></p>
<p>資料來源：iThome整理，2024年6月</p>
</div></div></div>
