Google採用輝達RTX Pro 6000 BSE,大幅提升多GPU存取效能
<div class="field field-name-field-image field-type-image field-label-hidden"><div class="field-items"><div class="field-item even"><img src="https://s4.itho.me/sites/default/files/g4-main.png" width="960" height="420" alt="" /></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"><p>在商用GPU市場,Nvidia這幾年獨領風騷,主推的Blackwell架構,陸續發表資料中心等級的B100、B200與GB200、B300與GB300,幾家大型雲端服務業者(CSP)紛紛宣布採用、建置超大型AI叢集系統,今年Nvidia開始提供用於單板電腦的<a href="https://www.ithome.com.tw/review/170954">Jetson Thor</a>,以及專業繪圖處理的<a href="https://www.ithome.com.tw/review/168875">RTX Pro Blackwell</a>,而當中的<a href="http://www.ithome.com.tw/review/170510">RTX Pro 6000 Blackwell Server Edition(BSE)</a>,不僅被Nvidia認定為新世代RTX Pro伺服器平臺的核心配備之一,多家伺服器廠商響應推出新機型,部分雲端服務業者也基於這款資料中心GPU,開設新的加速運算服務,例如,CoreWeave率先在7月宣布供應搭配RTX Pro 6000 Blackwell Server Edition的執行個體服務,到了<a href="https://cloud.google.com/blog/products/compute/g4-vms-powered-by-nvidia-rtx-6000-blackwell-gpus-are-ga">10月下半</a>,Google Cloud<a href="https://cloud.google.com/blog/products/compute/g4-vms-p2p-fabric-boosts-multi-gpu-workloads/">宣布</a>新的加速器最佳化虛擬機器G4正式上線(GA),同樣標榜採用這款Blackwell架構的資料中心GPU,最大組態可搭配8張,匯聚與運用多達768 GB容量的GDDR7記憶體。然而,雖然Google Cloud為此發布兩篇部落格文章,前一天也在<a href="https://cloud.google.com/release-notes#October_20_2025">Google Cloud</a>與<a href="https://cloud.google.com/compute/docs/release-notes?_gl=1*oj73t3*_ga*MTUyODE1NjEzOS4xNzUwODM2Njg1*_ga_WH2QY8WWF5*czE3NjEyNzg3NjgkbzgxJGcxJHQxNzYxMjc4OTg0JGoxMCRsMCRoMA..#October_20_2025">Compute Engine</a>的服務公告區揭露,但直到11月第一週,我們才在Google Cloud管理主控臺看到Nvidia RTX Pro 6000的GPU虛擬機器選項,Google Cloud表示,先前允許清單的限制尚未完全移除,因此出現未完全供應的狀況。</p> <p>提供G4的消息最早出現在<a href="https://cloud.google.com/blog/products/compute/introducing-g4-vm-with-nvidia-rtx-pro-6000?fbclid=IwY2xjawNkeolleHRuA2FlbQIxMABicmlkETF3SVRXWUNyZlNycnNnNzJRAR5d_WcEp-fPhEl8LhToaIzlPbNHkmbRk%E2%80%A6">6月</a>,當時正值Nvidia GTC 2025 Paris大會舉行的期間,Google Cloud表示,繼採用HGX B200的A4與採用GB200 NVL72的A4X,這兩款專攻大規模AI訓練需求的產品登場後,G4鎖定的市場是企業與內容創作者,並預告它將採用Nvidia今年新主打的RTX Pro 6000 Blackwell Server Edition。</p> <p>相較於Google Cloud現有的加速器最佳化虛擬機器G2,採用的GPU是導入Ada Lovelace架構的<a href="https://www.ithome.com.tw/review/156053">Nvidia L4</a>,Google Cloud G4搭配的RTX Pro 6000 Blackwell Server Edition,具備4倍的運算能力(30.3 TFLOPS vs.120 TFLOPS)與記憶體容量(24 GB vs. 96 GB),以及5.3倍的記憶體頻寬(300 GB/s vs. 1,597 GB/s),而且支援GPU多執行個體(MIG)。</p> <p><a href="https://s4.itho.me/sites/default/files/images/Google Cloud-GPU VMs-2025-11.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Google%20Cloud-GPU%20VMs-2025-11.jpg" style="width: 298px;" /></a> <a href="https://s4.itho.me/sites/default/files/images/G4-Accel VMs2.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/G4-Accel%20VMs2.jpg" style="width: 298px;" /></a></p> <p>而比起前一代資料中心GPU,Google Cloud也強調RTX Pro 6000 Blackwell Server Edition可帶來兩倍的光線追蹤效能提升,關鍵在於這款GPU內建第五代的RT Core,能模擬光線的物理行為,可針對複雜、即時的著色處理需求提供超逼真的視覺體驗。</p> <p>處理器的部分,G4搭配AMD EPYC 9005系列(代號Turin),最大可配置384顆虛擬處理器與1.4 TB容量的DDR5記憶體,並且對應8張RTX Pro 6000 Blackwell Server Edition,此時可形成1張GPU搭配48個虛擬處理器的運算組態,能實現執行嵌入AI模型的預先運算,處理器可協助調度指揮相關的模擬作業。</p> <p><a href="https://s4.itho.me/sites/default/files/images/G4-CPU.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/G4-CPU.jpg" style="width: 600px;" /></a></p> <p>同時,G4也與Google Cloud其他虛擬機器一樣,沿襲該公司近期發展的IT基礎架構卸載平臺Titanium,能提供專屬的網路處理能力,連線頻寬最高可達400 Gbps,是G2虛擬機器的4倍。</p> <p>經過4個月的發展,G4終於正式推出,Google Cloud強調他們大幅提升多GPU效能,關鍵於實作強化的PCIe點對點資料路徑,能改善All-Reduce這類重要的集合通訊效率,有利於橫跨多個GPU的分割模型處理,適用於g4-standard-96(2張GPU)、g4-standard-192(4張GPU)、g4-standard-384(8張GPU)這三種組態。</p> <p>比起標準的非點對點做法,Google Cloud表示,他們將這項發展的高效能、支援點對點通訊的軟體定義PCIe交織網路,用於需要多GPU擴展規模的工作負載,例如支援Nvidia集合通訊程式庫(NCCL)的系統,最大可增加至<a href="https://docs.cloud.google.com/compute/docs/accelerator-optimized-machines#g4-gpu-p2p">2.2倍</a>——以搭配4個GPU的G4虛擬機器為例,當設置在1個非統一記憶體存取架構(NUMA)的節點內,集合通訊速度可達2.04倍;若是搭配8個GPU的G4虛擬機器,並且設置在2個NUMA的節點內,集合通訊速度可達2.19倍。如此一來,AI推論及大型語言模型的微調皆可顯著提升速度。</p> <p><a href="https://s4.itho.me/sites/default/files/images/G4-P2P-2025-10-01_collective_communications_max.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/G4-P2P-2025-10-01_collective_communications_max.jpg" style="width: 600px;" /></a></p> <p>若將GPU的P2P網路用於模型服務的張量平行處理時,吞吐量可提升168%,詞元之間的延遲(inter-token latency)也能減少41%。</p> <p><a href="https://s4.itho.me/sites/default/files/images/G4-P2P-2025-10-02_throughput_max.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/G4-P2P-2025-10-02_throughput_max.jpg" style="width: 298px;" /></a> <a href="https://s4.itho.me/sites/default/files/images/G4-P2P-2025-10-03_latency_max.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/G4-P2P-2025-10-03_latency_max.jpg" style="width: 298px;" /></a></p> <p>提供更好的多GPU存取能力之餘,G4也能整合Google Cloud旗下眾多雲端服務。首先是容器即服務Google Kubernetes Engine(GKE),可選用G4虛擬機器,<a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-autopilot-now-available-to-all-qualifying-clusters">從9月底開</a>始,GKE的自動輔助操作功能Autopilot可用於所有符合條件的GKE叢集,所以,GKE也能運用G4虛擬機器快速擴展GPU執行規模,進而改善支出,可增設同樣具備橫向擴展能力的GKE Inference Gateway,聰明地管理AI模型的流量,例如,可用雙GPU組態的G4虛擬機器執行Llama-3.1-70B這個AI模型的副本,吞吐量可提升66%,再用GKE Inference Gateway閘道管理與自動擴展多個副本,以因應全球用戶需求。</p> <p><a href="https://s4.itho.me/sites/default/files/images/G4-P2P-2025-10-04_inference_gateway_max.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/G4-P2P-2025-10-04_inference_gateway_max.jpg" style="width: 600px;" /></a></p> <p><a href="https://s4.itho.me/sites/default/files/images/GKE Inference gateway-2025-11.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/GKE%20Inference%20gateway-2025-11.jpg" style="width: 600px;" /></a></p> <p>除此之外,機器學習平臺Vertex AI可選用G4虛擬機器進行AI推論與訓練,資料分析平臺Dataproc能運用G4虛擬機器加速大型Spark與Hadoop工作負載;Google Cloud也預告無伺服器型態的容器應用執行服務Cloud Run,很快將提供Nvidia RTX Pro 6000的GPU選項,以便用戶能夠更隨需存取這款GPU運算服務。</p> <p><a href="https://s4.itho.me/sites/default/files/images/Google Cloud Run GPU-2025-11-web.jpg"><img alt="" src="https://s4.itho.me/sites/default/files/images/Google%20Cloud%20Run%20GPU-2025-11-web.jpg" style="width: 600px;" /></a></p> <p><span style="color:#008080;"><strong>產品資訊</strong></span></p> <p><span style="color:#0000FF;">Google Cloud G4</span><br /> ●原廠:Google Cloud<br /> ●建議售價:asia-southeast1-b區域,g4-standard-48、1張GPU,每月預估3,944.01美元<br /> ●處理器:AMD第五代EPYC(9B45)<br /> ●提供服務規模選擇與最大組態:<br /> g4-standard-48、g4-standard-96、g4-standard-192、g4-standard-384,384顆虛擬處理器、1,440 GiB記憶體、本機儲存空間為12,000 GiB、8張Nvidia RTX Pro 6000 Blackwell Server Edition GPU(768 GDDR7記憶體)、網路頻寬為400 Gbps</p> <p>【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】</p> </div></div></div>