經濟日報

AI下一戰不是算力?四大CSP搶破「記憶體牆」 全面轉向液冷整機櫃

未署名全文約 1,937 字

文章摘要

經濟日報 · 文章頁摘要

今年以前北美四大CSP業者砸下數千億美元資本支出建資料中心,很大一部分都轉化為Nvidia高達七五%毛利。今年四大CSP業者的自研晶片越來越成熟,逐漸扛起資料中心的核心運算主力。更關鍵的硬體變化是,AI ASIC競爭已全面升級為動輒100kW以上,並整合數十到上百顆晶片的全液冷整機櫃系統。從IP、晶圓代工、先進封裝到整機櫃液冷組裝,牽動全球半導體與伺服器供應鏈重組。 今年以前雲端資料中心內,大多以訓練數億參數基礎模型為主,從今年起全面跨入推論優先的商業變現模式。訓練一個前沿基礎模型要動用到數萬顆頂級晶片好幾個月,並屬於一次性的資本投入。反觀現在每天服務數十億用戶的搜尋摘要、程式碼生成、即時語音互動以及需要自主規劃和多步驟反思的代理式AI(Agentic AI),每次回答的背後都要生成數千甚至數萬個隱藏Token。根據業界統計,今年大型雲端機房已有超過七成的電力和算力消耗在推論的工作負載上。四大CSP業者在今年推出的自研ASIC上,直接定義用在推論。

AI下一戰不是算力?四大CSP搶破「記憶體牆」 全面轉向液冷整機櫃(新聞配圖)
配圖來源:經濟日報

本文共1871字 為了突破記憶體牆與百千瓦散熱瓶頸,谷歌、亞馬遜、微軟與Meta在新世代產品中,全數轉向高密度全液冷整機櫃交付。這場硬體型態革命不僅改寫雲端算力規則,還引爆台灣伺服器與散熱供應鏈的價值大升級。...