#SUPERMICRO
目前不在新聞媒體排行榜上。
報導趨勢
關鍵字變化
過去 3 天標成 #SUPERMICRO 的報導
另有 4 篇標題或摘要提到「SUPERMICRO」，但沒有這個標籤。看所有提到「SUPERMICRO」的文章 →
11/5（四）
Supermicro 攜手 IBM 及 NVIDIA 推出 KV Cache 解決方案，展現顯著推論效能優勢 - 睿傳…
這套 KV（鍵值）cache 解決方案整合 Supermicro Petascale 儲存伺服器、IBM Storage Scale 軟件、NVIDIA Dynamo 推論軟件及 NVIDIA Spectrum-X 乙太網絡交換器 效能測試顯示，相較未使用 KV cache 的系統，這套解決方案可縮短長上下文視窗下的首個詞元生成時間（TTFT） 客戶可透過提升 GPU 使用率、吞吐量及基建擴展能力，大幅改善推論效率 加州聖荷西2026年11月5日 /美通社/ — Supermicro, Inc.（納斯達克股票代碼：SMCI）今日宣佈，攜手 IBM 及 NVIDIA 推出全新的 KV cache 儲存解決方案。Supermicro 是一家涵蓋 AI、企業級運算、儲存及 5G/邊緣領域的整體 IT 解決方案供應商，提供 Data Center Building Block Solutions®（DCBBS）。這套聯合解決方案整合了採用 AMD EPYC 9005 系列處理器（「Turin」）的 Supermicro Petascale 全快閃儲存伺服器、IBM Storage Scale 軟件，以及 NVIDIA Dynamo 推論框架軟件和 Spectrum-X 乙太網絡。 KV Cache high-performance platform for large-scale AI inference 這些技術相結合，可大幅縮短 AI 模型開始生成回應所需的時間。隨著企業採用代理式及長上下文 AI 工作流程，這項優勢尤其重要。利用本地 GPU 記憶體以外的儲存空間擴展 KV cache 容量，可提升 GPU 使用率及推論吞吐量，同時支援 KV cache 內容的高可用性，並在不中斷服務的情況下擴展 KV cache 容量。由此構建的推論架構更易擴展、更具韌性，帶來更快捷、回應更靈敏的 AI 體驗。 Supermicro 總裁兼行政總裁 Charles Liang 表示：「隨著 AI 工作負載由訓練延伸至推論，企業及新型雲端服務供應商在部署代理式 AI，以及長上下文、多輪互動生成式 AI 所需的高吞吐量推論工作負載時，需要消除瓶頸，提升 GPU 效率。我們與 IBM 及 NVIDIA 聯合推出的解決方案，清楚展示了這些效能優勢。」 如欲觀看本新聞稿的影片摘要，請按此。 推論工作負載分為兩個階段：預填充及解碼。在預填充階段，輸入文字會轉換為詞元（token），再由大型語言模型（LLM）處理，生成推論所需的中間鍵值（KV）狀態。透過將這些已計算的 KV 狀態儲存於持久化 KV cache，系統可重用這些狀態，毋須為後續請求重新計算相同的上下文。代理式工作流程、編程助手、長上下文檢索增強生成（RAG）、多模態 AI 及多輪互動應用，在處理大型程式碼庫、文件、對話、圖像及其他上下文時，可能產生大量 KV 狀態，迅速超出 GPU 及 CPU 的記憶體容量，因此需要將 KV cache 轉存至大容量共用網絡儲存空間。 Supermicro、IBM 及 NVIDIA 的 KV cache 解決方案提供了這個持久化儲存層，有助提升推論效率、吞吐量及擴展能力，同時減少重複運算。 這套 KV cache 解決方案為客戶帶來的主要優勢包括： 聯合方案驗證：Supermicro、IBM 及 NVIDIA 進行了廣泛的叢集層面測試，以評估效能，測試涵蓋高併發，以及其他工作負載造成網絡流量干擾的情境。 顯著提升推論速度及效能一致性：Supermicro 與 NVIDIA 使用一個擁有 1,200 億個參數的大型語言模型進行聯合測試。結果顯示，當提示輸入長度為 130,000 個詞元時，持久化 KV cache 使首個詞元生成時間（TTFT）比未使用 cache 時快達 56 倍。[1] 當輸入長度由 30,000 個詞元增加至 130,000 個詞元時，使用 KV cache 的系統，其 TTFT 僅增加 0.377 秒，未使用 cache 的系統則增加 29.55 秒，讓長上下文工作負載的效能更為一致。 提升 GPU 使用率及吞吐量：透過將經常重用的上下文保存在 GPU 記憶體以外，並維持可供使用的狀態，這套解決方案有助減少 GPU 閒置時間、提升推論吞吐量，並在毋須按相同比例增加 GPU 資源的情況下，支援更高併發量。 企業級韌性及可信 AI 營運：持久化、高可用的 KV cache 有助保護已快取的推論狀態，同時支援 GPU 節點及叢集之間的共用存取，提升大規模 AI 服務的韌性及儲存效率。 經驗證、可直接部署的 AI 基建：Supermicro、IBM 及 NVIDIA 在高併發及工作負載互相干擾的情境下，聯合驗證了這套整合架構。架構結合 NV
睿傳媒