Supermicro 攜手 IBM 及 NVIDIA 推出 KV Cache 解決方案,展現顯著推論效能優勢 - 火報
機構署名 美通社全文約 3,425 字
文章摘要
火報 · 文章頁摘要這套 KV(鍵值)cache 解決方案整合 Supermicro Petascale 儲存伺服器、IBM St …

這套 KV(鍵值)cache 解決方案整合 Supermicro Petascale 儲存伺服器、IBM Storage Scale 軟件、NVIDIA Dynamo 推論軟件及 NVIDIA Spectrum-X 乙太網絡交換器 效能測試顯示,相較未使用 KV cache 的系統,這套解決方案可縮...