鉅亨網Arm警告：AI推理每天產生百億Token 記憶體正成為邊緣運算最大瓶頸
署名 鉅亨網編譯陳韋廷
Arm：生成式AI從雲端落地終端後，儲存不再是配角，將直接決定AI系統能力上限。 AI推理Decode需高頻存取KV Cache；以100萬台設備每日20次互動估算，單日Token高達100億。 Arm倡議端-邊-雲分層，分散儲存壓力；未來競爭重點是KV Cache效率與Token成本。...
Arm：生成式AI從雲端落地終端後，儲存不再是配角，將直接決定AI系統能力上限。 AI推理Decode需高頻存取KV Cache；以100萬台設備每日20次互動估算，單日Token高達100億。 Arm倡議端-邊-雲分層，分散儲存壓力；未來競爭重點是KV Cache效率與Token成本。...