搭配8個Nvidia H100,Azure頂級GPU虛擬機器展現LLM效能
<div class="field field-name-field-image field-type-image field-label-hidden"><div class="field-items"><div class="field-item even"><img src="https://s4.itho.me/sites/default/files/nd_h100_v5-main.jpg" width="960" height="420" alt="" /></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p>想要透過公有雲業者租用<a href="https://www.ithome.com.tw/review/152926">Nvidia H100</a>的GPU加速運算服務,目前已有多種選擇,回顧先前的發展,最早向市場宣告提供這類解決方案的廠商,其實是微軟Azure,目前已經能提供3個GPU加速虛擬機器服務,分別是ND H100 v5、<a href="https://www.ithome.com.tw/review/162038">NC H100 v5(NCads H100 v5)</a>、NCC H100 v5(NCCads H100 v5)。</p> <p>早在2022年11月的全球超級電腦大會SC22,<a href="https://nvidianews.nvidia.com/news/nvidia-microsoft-accelerate-cloud-enterprise-ai">他們和Nvidia宣布合作建造基於公有雲服務的AI超級電腦</a>,當中包含ND系列與NC系列雲端執行個體服務,因應分散式AI推論與AI訓練需求,並且結合Nvidia發展的進階AI軟硬體堆疊,包含數萬個資料中心GPU產品A100與H100、400 Gb InfiniBand網路交換器Quantum-2,以及AI Enterprise企業級軟體套餐。</p> <p>隔年3月Nvidia舉行的GTC 2023大會,微軟發表第一款採用Nvidia H100的GPU最佳化執行個體服務,名為ND H100 v5系列,<a href="https://azure.microsoft.com/en-us/blog/azure-previews-powerful-and-scalable-virtual-machine-series-to-accelerate-generative-ai/">開放用戶登記參與預覽測試</a>。</p> <p><a href="https://s4.itho.me/sites/default/files/images/Azure Compute Portfolio Build 2024-05.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Azure%20Compute%20Portfolio%20Build%202024-05.jpg" style="width: 600px;" /></a></p> <p><a href="https://s4.itho.me/sites/default/files/images/2023-03-How-Microsofts-bet-on-Azure-unlocked-an-AI-revolution-hero-web.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/2023-03-How-Microsofts-bet-on-Azure-unlocked-an-AI-revolution-hero-web.jpg" style="width: 398px;" /></a> <a href="https://s4.itho.me/sites/default/files/images/2023-03-How-Microsofts-bet-on-Azure-unlocked-an-AI-revolution-02.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/2023-03-How-Microsofts-bet-on-Azure-unlocked-an-AI-revolution-02.jpg" style="width: 198px;" /></a></p> <p>縱觀Azure的GPU加速虛擬機器產品線,ND系列適用的工作負載類型,涵蓋大量記憶體的運算密集用、圖形密集型應用,以及虛擬化應用。的確!在Azure陸續推出的3款Nvidia H100 GPU雲端虛擬機器當中,記憶體容量就是最大區別,像是後來登場的NCads H100 v5為320 GiB或640 GiB。NCCads H100 v5為320 GiB,而最先發表的ND H100 v5配置1,900 GiB。</p> <p><a href="https://s4.itho.me/sites/default/files/images/Azure GPU accel VM.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Azure%20GPU%20accel%20VM.jpg" style="width: 600px;" /></a></p> <p>就硬體配置而言,ND H100 v5導入多種技術,包括:GPU提供8個Nvidia H100,而且,GPU之間透過新一代NVSwitch與NVLink 4.0連接,透過這些內部I/O技術,每一臺虛擬機器對於GPU存取的雙向頻寬可達到3.6 TB/s;外部網路存取技術方面,搭配Quantum-2交換器與ConnectX-7網路卡,建構扁平式網路架構,使每一臺虛擬機器的網路頻寬可達到3.2 Tb/s;CPU運算平臺的部分,搭配英特爾第四代Xeon Scalable處理器、透過PCIe 5.0介面存取GPU(連接每個GPU的頻寬為64 GB/s),以及16個通道的DDR5-4800記憶體。</p> <p><a href="https://s4.itho.me/sites/default/files/images/Azure ND H100 v5-2023-03-1.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Azure%20ND%20H100%20v5-2023-03-1.jpg" style="width: 600px;" /></a></p> <p><a href="https://s4.itho.me/sites/default/files/images/Azure ND H100 v5-2023-03-2.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Azure%20ND%20H100%20v5-2023-03-2.jpg" style="width: 600px;" /></a></p> <p>同年6月公開的AI訓練測試結果MLPerf Training v3.0,微軟提交兩項Azure ND H100 v5系列預覽版的效能測試結果。8月初舉行的SIGGRAPH 2023大會期間,Azure ND H100 v5系列宣告正式上線,微軟與Nvidia表示,相較於上一代執行個體服務支援FP16的浮點運算資料類型,由於Nvidia H100額外支援FP8,在矩陣乘法運算處理的速度上,可增加至6倍;若用於Bloom 175B這類大型語言模型的推論,可達到2倍的速度提升。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/Azure%20Nvidia%20GPU%20VM%20Portfolio-2023-10.jpg" style="width: 600px;" /></p> <p><a href="https://s4.itho.me/sites/default/files/images/MLPERF Training 3_0-2023-06.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/MLPERF%20Training%203_0-2023-06.jpg" style="width: 600px;" /></a></p> <p>後續MLPerf Inference v3.1在<a href="https://mlcommons.org/2023/09/mlperf-results-highlight-growing-importance-of-generative-ai-and-storage/">9月公布</a>,以及MLPerf Training v3.1在<a href="https://mlcommons.org/2023/11/mlperf-training-v3-1-hpc-v3-0-results/">11月揭露</a>,ND H100 v5系列都是Azure唯一提交AI效能測試結果的解決方案,微軟趁機展示其能耐。</p> <p><a href="https://s4.itho.me/sites/default/files/images/MLPerf Inference 3_1-Azure.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/MLPerf%20Inference%203_1-Azure.jpg" style="width: 600px;" /></a></p> <p><a href="https://s4.itho.me/sites/default/files/images/MLPERF Training 3_1-2023-11.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/MLPERF%20Training%203_1-2023-11.jpg" style="width: 600px;" /></a></p> <p>他們表示,若用於GPT-3 175B模型的訓練,在設置1,344臺Azure ND H100 v5虛擬機器,也就是10,752個Nvidia H100 GPU的組態之下,僅需3.92分鐘就能完成(編號3.1-2002的測試結果);而在先前MLPerf Training v3.0揭露的結果,微軟設置448臺Azure ND H100 v5虛擬機器,也就是3,584個Nvidia H100 GPU的組態,耗費10.9分鐘完成(編號3.0-2003的測試結果)。</p> <p><a href="https://s4.itho.me/sites/default/files/images/2023-11-Figure-1-MLPerf-Nov-1-Web.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/2023-11-Figure-1-MLPerf-Nov-1-Web.jpg" style="width: 600px;" /></a></p> <p>基於MLPerf Training v3.1,微軟也與Nvidia提交的組態相近GPU裸機伺服器效能結果(編號3.1-2002對上編號3.1-2007)進行比較,強調兩者的效能差異很小,後者僅領先2%。</p> <p><a href="https://s4.itho.me/sites/default/files/images/2023-11-Figure-3-MLPerf-Nov-2023-updated-2.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/2023-11-Figure-3-MLPerf-Nov-2023-updated-2.jpg" style="width: 600px;" /></a></p> <p>若用於AI推論,Azure ND H100 v5的表現也不輸實體伺服器的性能。微軟引用MLPerf Inference v3.1的GPT-J推論測試效能結果佐證,他們表示,若以Nvidia、Oracle各自提交的裸機伺服器(編號3.1-0107、3.1-0121)為基準,Azure ND H100 v5(編號3.1-0003)的相對效能為0.99倍至1.05倍。</p> <p><img alt="" src="https://s4.itho.me/sites/default/files/images/2023-11-Figure-4-MLPerf-Nov-2023-2-web.jpg" style="width: 600px;" /></p> <p><span style="color:#008080;"><strong>產品資訊</strong></span></p> <p><strong>微軟Azure ND H100 v5系列</strong><br /> ●原廠:微軟<br /> ●建議售價:美國西部區域每月93,305.68美元<br /> ●執行個體服務選擇:ND96isr_H100_v5<br /> ●搭配處理器:英特爾第四代Xeon Scalable(Sapphire Rapids)<br /> ●搭配GPU:Nvidia H100 80 GB<br /> ●運算資源配置:<br /> 96顆vCPU、1900 GiB記憶體、32臺資料硬碟、8個GPU、GPU記憶體80 GiB、網路介面8個</p> <p>【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】</p> </div></div></div>