【AWS GAI戰略2】訓練兆級參數模型沒問題！AWS揭3款雲端運算新服務迎戰GAI
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p>每年的AWS re:Invent全球大會，都有個慣例，由AWS執行長在主題演講中，一口氣揭露年度戰略和旗下產品新突破。</p> <p>今年也不例外，新上任的AWS執行長Matt Garman在12月3日的主題演講中，不只談起AWS過去18年來的服務發展基石「運算、儲存、資料庫和AI推論」，還點出：「今日，運算面臨的最大問題是AI，特別是生成式AI。」意味著，AWS運算服務新一年的發展策略，就是滿足生成式AI需求，他也在接下來的演講中，說明AWS如何實現這目標。</p> <p><span style="font-size:28px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#B22222;"> 雲端運算亮點1 </span></span> <span style="color:#B22222;">滿足數十億參數模型訓練的執行個體</span></strong></span></p> <p>Matt Garman自己是AWS運算部門出身，曾任AWS運算服務Amazon EC2團隊主管多年。</p> <p>他回顧，AWS運算服務自2006推出第一代EC2執行個體（編按：執行個體是指在雲端環境中執行的虛擬機器）後，每年都有新進展，比如前幾年揭露的Nitro系統、去年問世的Graviton4處理器，前者不只突破虛擬化基礎設施架構，將綁在一起的基礎設施管理功能分解、卸載到專用硬體和軟體上，把伺服器資源交給執行個體，大幅減少執行成本，後者則是更強更節能的處理器，用來支援不少雲端運算新服務，廣受市場好評。</p> <p>但即便有這樣的成績，Matt Garman認為，AWS目前還面臨一道嚴峻的運算課題，也就是生成式AI的運算需求，特別是大型語言模型（LLM）、擴散模型和高效能深度學習模型等模型訓練的運算資源需求。</p> <p>也由於，目前絕大多數的AI應用都仰賴GPU算力，為因應更強大的模型算力需求，AWS進一步延伸自己與GPU大廠Nvidia十多年的合作，在今年大會中揭露了新一代P6系列EC2執行個體。這個P6執行個體，將採用Nvidia最新的Blackwell GPU，「預計2025年上市，提供比目前GPU執行個體快上2.5倍的運算能力。」</p> <p>不只與異業聯手開發，Matt Garman還揭露，AWS自研AI加速晶片Trainuim2驅動的EC2執行個體Amazon EC2 Trn2 Instances正式上架了，先從美國東部區域開始提供。</p> <p>這個執行個體專為生成式AI和深度學習設計，尤其是為LLM等大型模型訓練所設計，效能比目前的GPU EC2執行個體好上3到4成。</p> <p>其中，單一個EC2 Trn2執行個體，由16顆Trainium2晶片組成，由NeuronLink高頻寬高速連接，可提供低延遲的20.8 pflops算力，適合用來訓練和部署數十億參數規模的模型。</p> <p>但如果AI模型規模更大，需要更多算力呢？</p> <p><span style="font-size:28px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#B22222;"> 雲端運算亮點2 </span></span> <span style="color:#B22222;">滿足兆級參數模型訓練的執行個體</span></strong></span></p> <p>AWS還有一手，也就是Matt Garman在大會中亮相的另一款執行個體Amazon EC2 Trn2 UltraServers預覽版，能滿足大模型訓練和部署需求。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/%E8%8B%A5%E6%A8%B8-Ultra-%E5%9C%961-%E5%9C%96%E7%89%87%E4%BE%86%E6%BA%90-AWS.png" style="width: 600px;" /></p> <p><span style="color:#696969;"><strong>AWS公用運算部門資深副總裁Peter DeSantis在今年大會中秀出實體Trn2 UltraServers伺服器，對應AWS新推出的EC2 Trn2 UltraServers執行個體預覽版，可滿足兆級參數模型的訓練、部署算力需求。</strong><span style="font-size:14px;">（圖片來源／AWS）</span></span></p> <p>這個Trn2 UltraServers以NeuronLink高速連接4臺Trn2伺服器，搭載64顆Trainium2晶片，形成一櫃大型伺服器，可分別提供83.2 pflops和332.8 pflops的密集與稀疏運算效能。AWS公用運算部門資深副總裁Peter DeSantis還在大會首日現場，秀出實體的Trn2 UltraServers伺服器機櫃。</p> <p>使用者可以運用這臺伺服器的雲端算力資源，來擴展生成式AI工作負載，像是訓練兆級參數的大模型，也能用來加速這類規模模型的即時推論工作。</p> <p>不過，AWS還不滿足於Trn2 UltraServers的算力。Matt Garman更透露，AWS正與專門打造LLM的AI新創Anthropic聯手，正開發一套由多臺Trn2 UltraServers伺服器組成的EC2 UltraCluster運算叢集，並取名為Project Rainier。</p> <p>「它將由數十萬個Trainium2 晶片組成！」Matt Garman點出，Project Rainier將提供Anthropic目前用來訓練模型的5倍算力。甚至AWS預期，Project Rainier屆時將成為世界上最大的AI運算叢集，供Anthropic用來訓練和部署新一代模型。</p> <p>AWS運算服務的戰略，還不只如此。</p> <p>Matt Garman預告，明年，AWS將推出新一代自研AI加速晶片Trainium3，一樣專門為GAI設計。「這將是AWS第一款採用3奈米製程節點，將提供比Trainuim2高出2倍的算力，效能還提高40%，」他說。</p> <p>從P6系列執行個體、EC2 Trn2執行個體，再到能滿足兆級參數模型訓練和部署的EC2 Trn2 UltraServers，甚至是運算資源規模更上層樓的Project Rainier，正是AWS今年度雲端運算戰略如何滿足GAI需求的實例。</p> <p><span style="color:#FFFFFF;"><span style="font-size:28px;"><strong><span style="background-color:#B22222;"> Anthropic為何要用數十萬顆Trainium 2訓練新模型 </span></strong></span></span></p> <p><strong>在今年度re:Invent大會中，Anthropic共同創辦人Tom Brown還現身說法，解釋Anthropic為何相中AWS自研晶片Trainium 2，用來打造下一代超大AI運算叢集。</strong></p> <p><strong>Tom Brown說明，模型推論速度要夠快，不只靠硬體規格，關鍵還在於伺服器中的收縮陣列（Systolic Arrays）要時時發揮作用。</strong></p> <p><strong>也就是說，收縮陣列要能持續依序接收模型輸入值，而不會突然卡住、得等待輸入值從記憶體或其他地方送進來。「就好比玩俄羅斯方塊一樣，方塊結合得越緊密，就越有效率、成本也越低，」他如此比喻。</strong></p> <p><strong>在與AWS解決這個問題的過程中，Anthropic發現，Trainium 2晶片的設計，非常適合執行低階程式語言，而且還能記錄系統中每條指令的執行時間。</strong></p> <p><strong>這意味著，開發者可以清楚知道，收縮陣列何時正常工作、何時卡住，以及為何卡住，讓核心（Kernel）程式的開發更快更簡單。</strong></p> <p><strong>也因為Trainium 2晶片的這個優點，Anthropic決定與AWS共同打造新一代運算叢集Project Rainier，將由數十萬個Trainium 2晶片組成，Anthropic還要用來訓練下一代Claude模型。</strong></p> <p><strong>「這個叢集規模是我們所使用過的算力的5倍之大，」Tom Brown解釋，這意味著，Anthropic的開發速度將更快，而Claude模型使用者，則能以更便宜的價格使用更聰明的模型和AI代理，來執行更重要的專案。</strong></p> <p><a href="https://www.ithome.com.tw/article/166603" target="_blank"><span style="color: rgb(255, 255, 255);"><span style="font-size: 20px;"><strong><span style="font-size: 24px;"><span style="background-color: rgb(51, 153, 255);"> 相關報導 </span></span><img alt="" src="https://s4.itho.me/sites/default/files/styles/picture_size_large/public/1213-feng_mian_-ruo_pu_-p1-open-960x420_kao_bei_0.jpg?itok=dCadQGdt" style="width: 550px;" /></strong></span></span></a></p> </div></div></div>
