奧丁丁新聞

微軟推 AI FinOps 架構 公開內部 Token 成本控管策略 - OwlNews

來源 商傳媒全文約 903 字(含標點)

文章摘要

奧丁丁新聞 · 文章頁摘要

商傳媒|林昭衡/綜合外電報導企業導入生成式人工智慧不再只是盲目追求使用率,如何計算投資報酬率正成為管理層面臨的核心挑戰。微軟於2026年11月正式向內部員工及合作廠商公開各自的AI使用量與Token開銷,帶頭實踐名為「AIFinOps」的新管理架構。這項內部實踐將重點放在複雜的代理人(Agent)工作流程與推論運算。FinOps原為雲端財務維運(FinancialOperations)的簡稱,意指跨部門協作以精確掌握雲端資源花費;套用至AI領域後,核心指標轉為「Token支出回報率」,即企業獲得的商業價值除以消耗的Token數量。在大型語言模型的運算計價中,Token是AI處理文字與程式碼的基本資料單位,模型每接收一段提示詞或生成回答,都會依消耗的Token數量向企業收費。微軟內部將企業導入AI的歷程分為三個階段:最初是推動全員廣泛使用的擴張期,接著透過預算上限控制支出的緊縮期,最終邁入以影響力為導向的價值最佳化階段。微軟內部數據指出,僅使用基本對話功能的輕度使用者,與高度依賴AI代理人執行自動化任務的重度使用者相比,兩者的AI消耗量差距可達10到100倍。儘管模型運算單價持續探底,企業總體支出卻隨著應用深化而放大。根據史丹佛大學2025年AI指數報告統計,達到GPT-3.5同級效能的模型推論成本,在2022年11月至2024年10月間驟降超過280倍。微軟執行長納德拉在2025年4月的財報電話會議上也曾指出,微軟單一Token的處理成本已縮減超過一半。然而,當企業將AI整合進日常工作流程,高頻率的背景自動運算仍可能迅速累積龐大帳單。微軟高階主管指出,企業過去已習慣編列人力資本預算,如今「Token資本」也需要相同的財務紀律。為降低非必要的算力消耗,微軟內部建議員工採用「CRAFT」提示詞架構,依序釐清背景脈絡(Context)、具體要求(Requirements)、受眾目標(Audience)、輸出格式(Format)及核心任務(Task),藉此減少反覆嘗試所浪費的運算資源。

微軟推 AI FinOps 架構 公開內部 Token 成本控管策略 - OwlNews(新聞配圖)
配圖來源:奧丁丁新聞

企業導入生成式人工智慧不再只是盲目追求使用率,如何計算投資報酬率正成為管理層面臨的核心挑戰。微軟於 2026 年 11 月正式向內部員工及合作廠商公開各自的 AI 使用量與 Token 開銷,帶頭實踐名為「AI FinOps」的新管理架構。...