NVIDIA Blackwell於衡量真實環境運算成本的InferenceMAX測試橫掃千軍 GB200 NVL72可…
<div class="deputation"><img src="https://bucket-image.inkmaginecms.com/version/hd/9dde7c0f-a597-445c-80dd-9a93db8a4006/image/2025/10/2b85b659-1d22-478a-a597-a04d436936ff.jpg"></div><p class="ck-section">由SemiAnalysis推出的全新獨立基準測試InferenceMAX v1是在真實場景衡量總運算的基準測試,是用於評估AI純運算性能以外的新基準;NVIDIA宣布Blackwell在InferenceMAX v1的測試當中呈現壓倒性的投資報酬率領先,其中GB200 NVL72可在投資500萬美金能創造高達7,500萬美金的DSR1詞元收益。</p><h3 class="ck-section"><span style="color:#f39c12;">著重在投資報酬率的全新評測基準</span></h3><figure class="image"><img src="https://bucket-image.inkmaginecms.com/version/hd/9dde7c0f-a597-445c-80dd-9a93db8a4006/image/2025/10/0a5cdfb4-cdad-4e9c-bbc0-92c26c1c74d1.jpg"><figcaption>▲投入500萬美金於GB200 NVL72,可創造15倍的投資報酬率</figcaption></figure><p class="ck-section">SemiAnalysis InferenceMAX v1為SemiAnalysis於2025年10月6日公布的全新測試基準,不同於先前AI測試聚焦在純效能,InferenceMAX更重視效率與經濟效益,尤其隨著模型自一次回覆變為多步驟推論與工具使用,每次查詢的詞元數大量增加,也提升運算需求。InferenceMAX採用帕雷托前沿(Pareto frontier)展示資料中心輸送量與回應性等因素間的最佳權衡。</p><p class="ck-section">NVIDIA在測試結果展露與OpenAI(gpt-oss 120B)、Meta(Llama 3 70B)、DeepSeek AI(DeepSeek R1)於開源領域合作成果,同時攜手FlashInfer、SGLang 和 vLLM 社群的深度合作,使得共同開發的增強核心與運行時,能大規模驅動這些模型,並實現NVIDIA對開放生態系的允諾。</p><p class="ck-section">NVIDIA GB200 NVL72是結合NVIDIA Grace Blackwell超級晶片的系統,根據InferenceMAX v1測試,投資500萬美金於該系統可創在7,5000萬美金的詞元收益,高達15倍投資報酬率。</p><h3 class="ck-section"><span style="color:#f39c12;">持續的軟體最佳化使效能再次攀升</span></h3><figure class="image"><img src="https://bucket-image.inkmaginecms.com/version/hd/9dde7c0f-a597-445c-80dd-9a93db8a4006/image/2025/10/939b54f6-47ea-4d87-9df8-0b03cd545efb.jpg"><figcaption>▲透過不斷的軟體最佳化,B200系統執行gpt-oss-120B的性能仍持續提升</figcaption></figure><p class="ck-section">由於NVIDIA與業界深度的合作,gpt-oss-120B在DGX Blackwell B200系統的初始系統就處於領先,但NVIDIA與社群進一步增強軟體最佳化,大幅提升TensorRT LLM性能;TensorRT LLM v1.0是使大型AI模型更快速、更具回應性的關鍵,透過平行化技術,可利用B200系統與NVLink Switch的1,800GB/s雙向頻寬提升gpt-oss-120B的效能。</p><p class="ck-section">全新推出的gpt-oss-120b-Eagle3-v2模型導入「 推測式解碼 (speculative decoding) 」機制,能一次預測多個詞元,降低延遲並提升速度,將每使用者輸送量提升3倍,達每用戶每秒100 詞元(TPS / user),每GPU速度從6,000提升至30,000詞元。同時在龐大參數且在運算需要大量運算資源的Llama 3.3 70B等密集AI模型,Blackwell B200同樣展現出色的測試成果,在美GPU達10,000 TPS、每使用者50 TPS的互動條件,較NVIDIA H200提升4倍的每GPU傳輸量。</p><h3 class="ck-section"><span style="color:#f39c12;">效率帶來價值</span></h3><figure class="image"><img src="https://bucket-image.inkmaginecms.com/version/hd/9dde7c0f-a597-445c-80dd-9a93db8a4006/image/2025/10/97c5c1a1-8077-4ee9-9219-dca842194ef0.jpg"><figcaption>▲相對H200,GB200提升10倍的每Megawatt詞元效率</figcaption></figure><figure class="image"><img src="https://bucket-image.inkmaginecms.com/version/hd/9dde7c0f-a597-445c-80dd-9a93db8a4006/image/2025/10/08da9f8e-303f-4d31-a3f3-b21bfdc29bc8.jpg"><figcaption>▲相對H200,B200可將每詞元成本降低15倍</figcaption></figure><p>回歸現實面,每詞元成本是衡量當前AI模型料綠的關鍵,Blackwell較H200將每百萬詞元成本降低達15倍,顯見新世代架構的加持下,進一步提升投資報酬率。</p>