導入CDNA3架構、192GB記憶體,AMD新資料中心GPU來了
<div class="field field-name-field-image field-type-image field-label-hidden"><div class="field-items"><div class="field-item even"><img src="https://s4.itho.me/sites/default/files/amd_instinct_mi300x_main.jpg" width="960" height="420" alt="" /></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p>在2021年11月,AMD發表資料中心GPU產品Instinct MI200系列,時隔兩年之後的現在,他們終於推出新一代產品Instinct MI300X,採用CDNA3架構,導入先進的3D封裝與小晶片(chiplet)技術,而能提供更強大的運算效能。</p> <p>相較於上一代產品<a href="https://www.ithome.com.tw/review/147860">MI250X</a>,MI300X的運算單元數量增加幅度逼近40%(304個對上220個),記憶體容量達到1.5倍(192 GB HBM3對上128 GB HBM2e),記憶體最大頻寬為1.7倍(5.3 TB/s對上3.2 TB/s);在資料型別上,MI300X可支援FP8與稀疏(sparsity)等數學計算,種種新增與強化特色,皆為了支撐AI與高效能運算類型的工作負載而來。</p> <p>在產品的使用上,MI300X本身的外形採用開放運算計畫(OCP)訂定的加速器模組標準(OAM),能讓廠商將其置入既有支援這類外形GPU的伺服器配置當中,可加速這類AI硬體平臺的採用。</p> <p><a href="https://s4.itho.me/sites/default/files/images/AMD MI300-PFM2.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20MI300-PFM2.jpg" style="width: 500px;" /></a></p> <h3><span style="color:#0000FF;"><strong>GPU架構重新設計,提供數量略勝一籌與記憶體配置彈性更大的GPU分割方式</strong></span></h3> <p>根據AMD公布的CDNA3架構白皮書指出,此架構重新畫分處理器的運算、記憶體、通訊元件,並且橫跨了異質封裝,MI300X整合8個垂直堆疊的「加速器複合晶粒(XCD)」——採用台積電5奈米製程,以及4個「I/O晶粒(IOD)」——採用台積電6奈米製程,以此涵蓋整個系統基礎架構,所有元件全部連接AMD Infinity Fabric技術當中,可接取8個高頻寬記憶體堆疊。</p> <p><a href="https://s4.itho.me/sites/default/files/images/AMD MI300-CDNA3-1.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20MI300-CDNA3-1.jpg" style="width: 600px;" /></a></p> <p>AMD表示,以最底層的技術架構來看,GPU核心在存取向量與矩陣資料時的運算吞吐量,可透過原生支援稀疏資料(sparse data)而獲得強化;而從巨觀角度而言,這樣從本質重新思考實作方式,搭配重新設計的快取與記憶體階層,可隨著運算量的增加而溫和地擴展執行規模,同時也整合快取一致性予以優先看待。</p> <p><a href="https://s4.itho.me/sites/default/files/images/AMD CDNA 3 architecture memory architecture diagram.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20CDNA%203%20architecture%20memory%20architecture%20diagram.jpg" style="width: 600px;" /></a></p> <p>以MI300X為例,這款獨立GPU聚焦加速運算的應用,本身結合8個XCD,對於機器學習處理的運算精度降低資料(reduced precision data),最大可提供3.4到6.8倍的吞吐量,若用於FP8型別的資料,最大可提供2.6 PFLOPS效能,若處理使用單精度與雙精度的典型高效能運算工作負載,吞吐量可增加1.7到3.4倍,單個GPU的FP64矩陣運算效能為163.4 TFLOPS。</p> <p><a href="https://s4.itho.me/sites/default/files/images/2023-12-07-CDNA 3 diagram_svg.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/2023-12-07-CDNA%203%20diagram_svg.jpg" style="width: 600px;" /></a></p> <p>就CDNA3的運算單元而言,最大的改善是在矩陣核心單元(Matrix Core Unit),著重AI與機器學習的應用——針對頂尖訓練與推論常用的既有資料型別,強化運算吞吐量,其中一個關鍵是使用更緊緻的資料型別,可一併節省記憶體與快取容量資源的使用,改善吞吐量的同時,也降低耗電量,舉例來說,若使用FP16與BF16,可獲得3倍的效能提升,若使用INT8,效能增長幅度達到6.8倍(相較於MI250X)。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/CU%20of%20the%20AMD%20CDNA%203%20architecture.jpg" style="width: 600px;" /></p> <p>AMD CDNA 3 Matrix Core在資料型別上,新支援最便於使用的TF32,以及透過最小規模提供最大效能的FP8,也支援FP8的兩種變體,一是5位元指數搭配2位元尾數的E5M2,用於AI訓練,一是4位元指數搭配3位元尾數,用於AI推論,兩者都列於OCP訂定的8位元浮點數規格。</p> <p>在CDNA3架構中,與先前世代差異最大的部分在於運算單元外面的記憶體階層,經過重新設計架構之後,可充分運用多個異質小晶片的優勢,促成共同封裝在處理器的小晶片,能有一致的快取使用。</p> <p>AMD認為,這樣的記憶體階層重新設計,真正開放了XCD內部的L2快取共享,而L2快取隨著位於IOD的最末階快取AMD Infinity Cache的加入,有了本質的變化,部分記憶體原生的功能被移除而提升到AMD Infinity Cache來執行——L2快取變成最低階的快取,會由硬體來自動維護一致性,在此同時,記憶體可在運算單元維持更豐富的資源混合,可將它們從一致性流量當中隔離,並且針對連至AMD Infinity Fabric網路的介面進行最佳化處理。</p> <p>值得注意的是,AMD在CDNA3架構當中,也提供將單個GPU分割為多個虛擬GPU的功能,令人聯想到Nvidia的多執行個體GPU(MIG),目前已在Ampere架構與Hopper架構資料中心GPU產品提供(A100、H100最多可設置7個GPU執行個體,A30是4個)。</p> <p><a href="https://s4.itho.me/sites/default/files/images/AMD MI300 series.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20MI300%20series.jpg" style="width: 500px;" /></a></p> <p>由於AMD Instinct MI300X包含8個XCD,這些硬體單元可各自分開、個別運作,形成多個虛擬GPU,最多能設置8塊區域,每一塊對應一個XCD,而且這裡也支援單根I/O虛擬化技術(SR-IOV),提供區分為多個虛擬功能(Virtual Functions,VF)的隔離執行機制,每個虛擬功能不能存取其他虛擬功能、實體功能(PF)的資訊或狀態。</p> <p>MI300X內建的高頻寬記憶體也能根據GPU的分割而區隔,可設置為一大塊或4大塊,也能從GPU分割當中個別設定,AMD稱之為單體NUMA分割(NUMA partitions per socket,NPS),這些記憶體分區數量可等同或小於GPU分割數量。</p> <p><a href="https://s4.itho.me/sites/default/files/images/MI300X Partitioning and Virtualization.png"><img alt="" src="https://s4.itho.me/sites/default/files/images/MI300X%20Partitioning%20and%20Virtualization.png" style="width: 600px;" /></a></p> <h3><span style="color:#0000FF;"><strong>標榜運算效能可超越競爭對手的產品</strong></span></h3> <p>在大型語言模型(LLM)的使用上,AMD也特別強調MI300X的表現優於其他競爭產品。根據他們的內部測試,與市面上當紅的Nvidia H100 HGX整合多個資料中心GPU的平臺相比,同樣執行參數多達1,760億個的Bloom模型、使用DeepSpeed執行推論運算時,採用AMD Instinct Platform同樣匯集8個MI300X於一機的伺服器,吞吐量可達到1.6倍。若以單個GPU而言,要用於Llama2這類具有700億個參數大型語言模型的推論,AMD表示,MI300X是市場上唯一有辦法能承擔運算需求的產品。</p> <p><a href="https://s4.itho.me/sites/default/files/images/AMD MI300-PFM1.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20MI300-PFM1.jpg" style="width: 600px;" /></a></p> <p><a href="https://s4.itho.me/sites/default/files/images/AMD MI300-PFM3.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20MI300-PFM3.jpg" style="width: 600px;" /></a></p> <p>基於這樣的配置與性能,他們認為MI300X可簡化企業級大型語言模型的運算系統部署,並且達到更理想的總體擁有成本。</p> <p><a href="https://s4.itho.me/sites/default/files/images/AMD MI300-Perform1.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20MI300-Perform1.jpg" style="width: 298px;" /></a> <a href="https://s4.itho.me/sites/default/files/images/AMD MI300-Perform2.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20MI300-Perform2.jpg" style="width: 298px;" /></a></p> <p><a href="https://s4.itho.me/sites/default/files/images/AMD MI300-Perform3.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20MI300-Perform3.jpg" style="width: 600px;" /></a></p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20MI300-Perform4.jpg" style="width: 600px;" /></p> <p>關於有意採用的雲端服務業者方面,微軟在11月中舉行的Ignite年度用戶大會期間,搶先預告將推出採用這款GPU的運算服務ND MI300X v5;到了12月初AMD舉行的Advancing AI發表會,Oracle Cloud Infrastucture預告將會在裸機運算服務當中,推出搭配MI300X的解決方案,將支援該公司發展超級叢集網路OCI Supercluster,當中將配備超快速的RDMA網路技術,並表示他們的生成式AI服務很快就會支援MI300X。社群網站公司Meta也表示,他們將會擴展與AMD的合作,並在自家資料中心將MI300X用於AI推論的工作。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/Azure%20ND%20MI300X%20v5%20VM.jpg" style="width: 298px;" /> <img alt="" src="https://s4.itho.me/sites/default/files/images/AMD%20GPU%20in%20Microsoft-2023-11-15.jpg" style="width: 298px;" /></p> <p>在伺服器廠商的部分,Dell、Supermicro、聯想也在這場活動前來站臺表達支持,並預告將推出搭配這款GPU的機型。</p> <p>以Dell為例,旗下的6U、8-GPU伺服器<a href="https://www.ithome.com.tw/review/156425">PowerEdge XE9680</a>,目前可搭配8個Nvidia頂級資料中心GPU(A100或H100),未來將提供搭配AMD Instinct MI300X的組態;</p> <p><a href="https://s4.itho.me/sites/default/files/images/Dell-MI300X-2023-12-07-2.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Dell-MI300X-2023-12-07-2.jpg" style="width: 600px;" /></a></p> <p>Supermicro將在H13世代的產品當中,推出6U、8-GPU伺服器AS-8125GS-TNMR2,搭配2顆AMD EPYC 9004處理器;</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/Supermicro2-MI300X-2023-12-07.jpg" style="width: 600px;" /></p> <p>聯想表示,ThinkSystem平臺將會提供8-GPU伺服器,搭配2顆AMD EPYC處理器,預計2024年上半推出。</p> <p><a href="https://s4.itho.me/sites/default/files/images/Lenovo2-MI300X-2023-12-07.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Lenovo2-MI300X-2023-12-07.jpg" style="width: 600px;" /></a></p> <p><span style="color:#008080;"><strong>產品資訊</strong></span></p> <p><strong>AMD Instinct MI300X</strong><br /> ●原廠:AMD<br /> ●建議售價:廠商未提供<br /> ●外形:OAM<br /> ●晶片製程:微影製程TSMC 5nm FinFET,主動中介層晶粒製程TSMC 6nm FinFET<br /> ●I/O介面:PCIe 5.0 x16<br /> ●GPU架構:AMD CDNA3<br /> ●GPU核心:304個運算單元,19,456個串流處理器,1,216個矩陣核心<br /> ●GPU記憶體:192 GB HBM3<br /> ●記憶體最大頻寬:5.3 TB/s<br /> ●運算效能:FP64向量運算尖峰值為81.7 TFLOPS<br /> ●支援運算API:ROCm<br /> ●Infinity Fabric Links:7個<br /> ●耗電量:750瓦</p> <p>【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】</p> </div></div></div>