TechOrange 科技報橘別讓 AI 模型吃光 IT 預算！拆解 AT&T 降本 90%、每日處理 270 億 Token 的秘訣
作者 廖紹伶
<p>當企業真正將生成式 AI 推向大規模營運時，成本問題開始浮上檯面。根據《VentureBeat》報導，美國最大電信商 AT&T 每天需要處理高達 80 億 個 token 的 AI 任務規模，而 AT&T 資料長 Andy Markus 與他的團隊意識到，將所有資料都透過大型推...
<p>當企業真正將生成式 AI 推向大規模營運時，成本問題開始浮上檯面。根據《VentureBeat》報導，美國最大電信商 AT&T 每天需要處理高達 80 億 個 token 的 AI 任務規模，而 AT&T 資料長 Andy Markus 與他的團隊意識到，將所有資料都透過大型推...