<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p><span style="color: rgb(0, 0, 255);">重點新聞(1201~1207)</span></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Mamba </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Transformer </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 運算資源 </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>Mamba橫空出世引起AI社群關注,克服Transformer運算缺陷還具5倍吞吐量</strong></span></p>
<p>自2017年Google釋出Transformer架構以來,它就成為大模型的主流架構,不只是BERT、T5,就連GPT系列模型、Gemini等大型語言模型(LLM)都以Transformer為基礎。但最近,來自卡內基美隆(CMU)大學和Together AI的專家Albert Gu和Tri Dao共同打造Mamba架構,克服了Transformer的運算效率缺陷,挑戰Transformer的霸權地位。</p>
<p>這是因為,Transformer模型中的自我注意力機制,其運算資源會隨上下文長度增加而呈平方倍增長,比如上下文增加20倍,所需的運算資源就會達到400倍,非常龐大。也因此,<a href="https://twitter.com/tri_dao/status/1731728602230890895?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1731782599935205463%7Ctwgr%5E152ccc5c82ce0d2409eb8bda4fab7183e50074e7%7Ctwcon%5Es3_&ref_url=https%3A%2F%2Fanalyticsindiamag.com%2Fmamba-is-here-to-mark-the-end-of-transformers%2F">Tri Dao表示</a>,Transformer的注意力機制難以擴展到長序列任務。為克服這個問題,至今有不少專家提出高效能注意力機制改善方法,但通常伴隨模型表現不如原本的代價。</p>
<p>而Mamba採用結構化狀態空間模型(SSM),所需運算量可隨序列增加而呈線性增長,可處理數百萬個Token的長序列上下文運算,解決Transformer的運算效率低下問題,還能實現5倍吞吐量。Mamba可作為通用序列模型的骨幹模型,團隊測試,Mamba在語言、音訊和基因組學等多種任務中達到高階(SOTA)性能,特別是在語言建模部分,Mamba-3B模型表現不只比同參數量的Transformer好,還與2倍規模的Transformer相當。<a href="https://github.com/state-spaces/mamba">(詳全文)</a></p>
<p><img alt="" src="https://pbs.twimg.com/media/GAhV2yOacAASvaj?format=jpg&name=900x900" /></p>
<p><span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Gemini </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Google </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> GPT-4V </span></strong></span></p>
<p><span style="font-size: 22px;"><strong>GPT-4V最強對手來了,Google多模態Gemini模型登場</strong></span></p>
<p>Google正式推出原生的多模態大型語言模型Gemini,可同時支援文字、圖片和聲音的輸入。在32項AI測試中,有30項的評分超越了OpenAI的GPT-4V。Google預計推出3種Gemini版本,包括模型最大的Ultra版、通用性最廣的Pro版,以及可在手機裝置上運作的Nano版。</p>
<p>Google展示一段實測影片,來呈現Gemini多模態的回答能力。他們讓Gemini一邊看影片,一邊解讀畫面內容,包括展示人員即時手繪,Gemini能給出每一個動作所對應的意義,如這是隻鴨子,現在在水上游泳,有藍色外觀。當展示人員拿出實體玩具鴨子按壓發生聲音時,AI甚至打趣的說,真的拿出了呱呱叫的鴨子,AI還能糾正展示人員對於「鴨子」中文發音的重音位置錯誤。</p>
<p>不只能同時分辨和理解文字、圖片和聲音,Gemini還能分辨、解釋幾種熱門開發語言,包括Python、Java、C++和Go語言。Google也用Gemini打造了新版的程式碼生成系統AlphaCode 2,比2年前的第一代進步許多,可解決兩倍的問題。<a href="https://deepmind.google/technologies/gemini/#introduction">(詳全文)</a></p>
<p> </p>
<div class="media_embed" height="315px" width="560px">
<iframe allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen="" frameborder="0" height="315px" src="https://www.youtube.com/embed/UIZAiXYceBI?si=jJTbjWfMdi2ItBF3&controls=0" title="YouTube video player" width="560px"></iframe></div>
<p> </p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> Meta </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI聯盟 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 開源 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Meta、IBM等巨頭合組開源AI聯盟</strong></span></p>
<p>Meta聯手IBM,在12月5日宣布與英特爾、AMD、Linux基金會等組織跨界合組AI聯盟,推動AI開源碼技術的開發和共享,來推動負責任AI的發展。這個組織創始成員除了Meta、IBM,還有50多個組織成員,包括英特爾、AMD、Dell、Stability AI、Hugging Face、甲骨文、Red Hat、Sony、ServiceNow、Linux基金會等業者,美國航太總署(NASA)、歐洲核子研究組織(CERN)、醫學中心Cleveland Clinic,以及哈佛大學、耶魯大學、洛桑聯邦理工學院、加州大學柏克萊分校、東京大學等,但Google、微軟、OpenAI和AWS等並未加入。</p>
<p>AI聯盟的目的是,藉由公開和分享,來避免如ChatGPT這類封閉式AI引發的偏見、假資訊、幻覺和漏洞等風險。該聯盟的開發計畫包括打造安全工具與標準,像是建立AI安全與信任的工具型錄,並協助將這些工具推廣到廠商,再來是打造解決氣候、教育等問題的多模態、多語言的科學模型,此外還要建置強大的AI硬體加速器,並協助全球性的AI技術養成。另外也要開發AI教育、規範內容,並推動負責任AI開發的宣導活動。<a href="https://ai.meta.com/blog/ai-alliance/">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> TPU </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 超級電腦架構 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 資源管理 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>Google發表新一代TPU和超級電腦架構</strong></span></p>
<p>12月7日,Google發表了最新張量處理器Cloud TPU v5p、超級電腦架構AI Hypercomputer以及資源管理工具<a href="https://cloud.google.com/blog/products/compute/introducing-dynamic-workload-scheduler">Dynamic Workload Scheduler</a>,來加速AI任務的執行和處理。進一步來說,今年11月,Google才推出Cloud TPU v5e,最近發表Cloud TPU v5p,前者強調成本效益,後者則號稱是目前最強大的TPU。每個TPU v5p pod具備8,960個晶片,晶片間的互連速度達4,800 Gbps,相較於上一代的TPU v4,提供了2倍的FLOPS和3倍的高頻寬記憶體(HBM)。</p>
<p>至於AI Hypercomputer架構,整合了最佳化效能的硬體、開源軟體、主流機器學習框架,比如JAX、TensorFlow、PyTorch等開源機器學習框架,或Multislice Training、Multihost Inferencing等軟體,且還整合GKE與Google Compute Engine。就資源管理工具Dynamic Workload Scheduler來說,它支援Cloud TPU與Nvidia GPU,可同時調度所需的加速器,其中的Flex Start還能用來微調模型、實驗、較短的訓練任務、蒸餾、離線推理和批次任務,並在準備執行請求GPU與TPU容量,是一種相對經濟的選擇。<a href="https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer/">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 蘋果 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> MLX </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> Apple Silicon </span></strong></span></p>
<p><span style="font-size:22px;"><strong>蘋果公布Apple Silicon平臺專用AI框架MLX</strong></span></p>
<p>在微軟和英特爾等業者大肆宣傳AI PC概念的同時,向來較沈默的蘋果也公布了AI框架MLX,可在Apple Silicon平臺上執行。MLX類似Python常用框架NumPy的陣列框架,能提高在Apple Silicon平臺上執行ML任務的效率和彈性。</p>
<p>蘋果指出,MLX的設計靈感來自PyTorch、Jax和ArrayFire等框架,MLX陣列位於共享記憶體中,因此可執行在任何支援的裝置上,如GPU和CPU,無需複製資料。MLX有功能完整的C++ API,且有3大特點,如在自動微分、自動矢量化和運算圖表優化部分,具有可組合函式轉換,再來是MLX的運算為惰性求值,第3個特點是多裝置支援,可在支援的CPU、GPU上執行運算。目前,開發者可從GitHub網頁下載MLX。<a href="https://ml-explore.github.io/mlx/build/html/index.html">(詳全文)</a></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 思科 </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 防火牆 </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 規則管理 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>思科推AI助理,簡化防火牆規則管理</strong></span></p>
<p>思科最近推出資安AI助理(Cisco AI Assistant for Security),能提供自動化規則配置、協助用戶分析和決策,來強化企業防火牆管理。企業防火牆的用意是保護網路免受惡意流量侵害,但防火牆規則卻不好管理,比如普通防火牆就有數千條規則和處理流量,其中許多規則過時、冗餘甚至矛盾。於是Cisco打造LLM防火牆規則管理助理,用戶可以自然語言管理防火牆,如排除故障和配置設定、找出可疑活動等。思科這款助理具多種功能,主要能在Cisco雲端防火牆管理中心與Cisco Defense Orchestrator(CDO)發揮作用,解決設定和維護複雜政策和防火牆規則的挑戰。</p>
<p>此外,Cisco還推出適用於所有防火牆模型的AI加密能見度引擎,經數十億個樣本訓練而成,不需解密流量,就能判斷流量是由哪一個作業系統以及客戶端應用程式產生,直接從加密流量找出惡意軟體傳輸。<a href="https://blogs.cisco.com/security/give-your-firewall-admins-superpowers-with-cisco-ai-assistant-for-security">(詳全文)</a></p>
<p><img alt="" src="https://storage.googleapis.com/blogs-images/ciscoblogs/1/2023/12/firewall_ai_assistant_policy_screenshot-1.jpg" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AWS </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> 生成式AI </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> IDE </span></strong></span></p>
<p><span style="font-size:22px;"><strong>AWS新推擴充套件,用AI簡化雲端程式架構設計流程</strong></span></p>
<p>AWS正式推出Application Composer整合開發環境的擴充套件,可讓開發者直接在IDE使用Application Composer功能,以視覺化操作方法,更有效地設計和部署雲端應用程式,還簡化開發流程。</p>
<p>AWS在2022年推出視覺化工具Application Composer,讓開發者透過拖放操作,連接和分組AWS服務,更簡單地設計和開發應用程式架構。這次新推出的擴充套件,則能讓開發者在熟悉的IDE工具中,運用相同的視覺化拖放操作體驗,快速建立想法原型。而且,新擴充套件還能和IDE中的各種工具整合,提供即時生成的程式碼模板,以及AWS無伺服器應用模型整合,方便管理和部署無伺服器應用程式。Application Composer擴充套件還整合生成式AI,能即時生成程式碼建議,來加速開發工作。<a href="https://aws.amazon.com/tw/blogs/aws/ide-extension-for-aws-application-composer-enhances-visual-modern-applications-development-with-ai-generated-iac/">(詳全文)</a></p>
<p><img alt="" src="https://d2908q01vomqb2.cloudfront.net/da4b9237bacccdf19c0760cab7aec4a8359010b0/2023/11/07/2023-app-composer-quickpreview.gif" /></p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> JetBrains </span></strong></span> <span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> IDE </span></strong></span> <span style="color: rgb(255, 255, 255);"><strong><span style="background-color: rgb(51, 153, 255);"> 程式開發 </span></strong></span></p>
<p><span style="font-size:22px;"><strong>JetBrains新AI程式開發助理整合自家IDE</strong></span></p>
<p>擁有IntelliJ IDEA、PyCharm等多款旗下IDE產品的JetBrains,最近推出程式開發AI助理,要提高開發者軟體開發的效率和品質。JetBrains AI助理能解釋程式碼、回答程式碼相關問題,也能生成文件或轉換程式語言等工作。</p>
<p>JetBrains透過將AI助理融入使用者工作流程,善用IDE對開發者程式碼的理解,掌握整體開發上下文和專案結構,來對AI助理底層語言模型提供詳細資訊。而且,開發者能以開放式聊天介面和AI助理對話,查詢特定函式功能,或編寫、除錯程式碼。此外,AI助理也能在重構任務幫上忙,雖然JetBrains IDE本身也有重構功能,但AI助理能進一步提供潛在程式碼的重構建議,並解釋原因。目前,該AI助理為訂閱服務,可在IntelliJ IDEA、PyCharm、PhpStorm、ReSharper、Fleet等JetBrains IDE中使用。<a href="https://blog.jetbrains.com/blog/2023/12/06/introducing-jetbrains-ai-and-the-in-ide-ai-assistant/">(詳全文)</a></p>
<p><img alt="" src="https://blog.jetbrains.com/wp-content/uploads/2023/12/ai-chat-option-2.png" /></p>
<p>圖片來源/Albert Gu和Tri Dao、Google、思科、AWS、GetBrains</p>
<p><span style="color:#FFFFFF;"><strong><span style="background-color:#3399ff;"> AI近期新聞 </span></strong></span></p>
<p><strong>1. 微軟Copilot升級至DALL-E 3與GPT-4 Turbo</strong></p>
<p><strong>2. 群創用AI改造智能超市,導入智慧購物車、即時分群廣告推播及互動式酒促客服體驗</strong></p>
<p><strong>3. Meta強化Meta AI、推出AI圖片生成網頁版、研發浮水印</strong></p>
<p>資料來源:iThome整理,2023年12月</p>
</div></div></div>