奧丁丁新聞

Google提AI Agent容量規劃 節點成本最高省四成 - OwlNews

來源 商傳媒全文約 808 字(含標點)

文章摘要

奧丁丁新聞 · 文章頁摘要

圖/示意圖商傳媒|責任編輯/綜合外電報導部署能自主規劃任務並持續互動的AIAgent(人工智慧代理)時,雲端運算架構常面臨會話長時間閒置卻霸佔資源的難題。Google近期針對GoogleKubernetesEngine(GKE,用於執行容器化應用程式的雲端託管平台)發布容量規劃指南,指出規劃節點池(NodePool)時,應著眼於「實際執行任務或尚未暫停的沙盒數量」,而非維持連線的總會話數。根據外媒引述GoogleGKE容量指南內容,持續性Agent會話在兩次Prompt(提示詞)互動之間,對話狀態雖維持開啟,但負責執行任務的沙盒環境大部分時間處於閒置。然而,Kubernetes的Worker屬於實體運算容量,只要環境未釋放就會持續佔用資源。過去若單純將Pod縮減至零以保留儲存磁碟,記憶體與處理程序仍會遺失,導致下一次輸入時必須重新啟動Process,拉長延遲時間。指南提出的架構核心在於引入SuspendActor機制。當偵測到環境閒置時,系統會將記憶體快照存入物件儲存庫並釋放Worker節點資源。Google的試算模型顯示,在100個Agent、每小時發送2次Prompt且設定2分鐘閒置逾時的情境下,Agent僅有29%的時間真正佔用運算資源;配合15%的安全容量餘裕,這套動態釋放架構能降低近40%的節點硬體成本。但若互動頻率提升至每小時4次Prompt,由於閒置時間縮短,節省幅度則降至4%。此外,開源框架AgentSubstratev1.0也已預設啟用「請求停泊」(RequestParking)機制,最高支援1,024個並行停泊請求。當處於暫停狀態的環境恢復執行時若遭遇瞬態錯誤,系統會在5秒的重試預算內自動重新導流。這項設計目前僅支援CPU與記憶體容量調配,尚不支援將GPU裝置直接指派給個別Actor。

Google提AI Agent容量規劃 節點成本最高省四成 - OwlNews(新聞配圖)
配圖來源:奧丁丁新聞

部署能自主規劃任務並持續互動的 AI Agent(人工智慧代理)時,雲端運算架構常面臨會話長時間閒置卻霸佔資源的難題。Google 近期針對 Google Kubernetes Engine(GKE,用於執行容器化應用程式的雲端託管平台)發布容量規劃指南,指出規劃節點池(Node Pool)時,應著...