經濟日報

新研究質疑以 GPU 使用率衡量推論基礎設施效能

署名 贊助提供全文約 4,068 字

文章摘要

經濟日報 · 文章頁摘要

NAND Research 最新報告強調,GPU 繁忙程度不能準確反映有效產出,並提出全新的「推論經濟效益評分卡」,按實際完成的有效工作量衡量推論基礎設施。這套框架已應用於與 Nebius 合作進行、採用 NVIDIA HGX B300 GPU 及 WEKA NeuralMesh 的八小時基準測試。 芝加哥 2026年11月17日 /美通社/ -- 在 Supercomputing 2026 大會上,AI 數據及記憶體基礎設施公司 WEKA 聯同市場情報公司 NAND Research,今日推出「推論經濟效益評分卡」。這套全新通用框架按實際完成的有效工作量,衡量推論基礎設施的生產力及經濟價值,而非單看 GPU 有多繁忙。評分卡訂出九項指標,包括每瓦特的詞元產出、每次推論成本及上下文保留能力。評分卡亦訂立四項測試規則,包括每次運行至少八小時,以及只計算成功產出。這套框架已應用於與 AI 雲端服務公司 Nebius 合作進行的基準測試。與此同時,推論正佔據愈來愈大比例的 AI 基礎設施開支,而買家亦面對電力、記憶體及機架空間的限制。 新研究發現:買家已開始以不同方式看待推論 S&P Glo

新研究質疑以 GPU 使用率衡量推論基礎設施效能(新聞配圖)
配圖來源:經濟日報

本文共4544字 NAND Research 最新報告強調,GPU 繁忙程度不能準確反映有效產出,並提出全新的「推論經濟效益評分卡」,按實際完成的有效工作量衡量推論基礎設施。這套框架已應用於與 Nebius 合作進行、採用 NVIDIA HGX B300 GPU 及 WEKA NeuralMesh...