台灣產經新聞網

新研究質疑以 GPU 使用率衡量推論基礎設施效能

署名 PR Newswire 美通社全文約 4,017 字(含標點)

文章摘要

台灣產經新聞網 · 文章頁摘要

台灣產經新聞網 科技新訊訊息(文章來源:PR Newswire 美通社):新研究質疑以 GPU 使用率衡量推論基礎設施效能 NAND Research 最新報告強調,GPU 繁忙程度不能準確反映有效產出,並提出全新的「推論經濟效益評分卡」,按實際完成的有效工作量衡量推論基礎設施。這套框架已應用於與 Nebius 合作進行、採用 NVIDIA ...

新研究質疑以 GPU 使用率衡量推論基礎設施效能(新聞配圖)
配圖來源:台灣產經新聞網

NAND Research 最新報告強調,GPU 繁忙程度不能準確反映有效產出,並提出全新的「推論經濟效益評分卡」,按實際完成的有效工作量衡量推論基礎設施。這套框架已應用於與 Nebius 合作進行、採用 NVIDIA HGX B300 GPU 及 WEKA NeuralMesh 的八小時基準測試。...