硬體玩家巧用停產記憶體 無 GPU 成功驅動 2.8 兆參數 AI 模型 | LIFE生活網

• 一名硬體愛好者成功在僅使用 CPU 的伺服器上，驅動了 2.8 兆參數的 AI 模型 Kimi K3。 • 此項壯舉的關鍵在於利用已停產的 Intel Optane Persistent Memory 200 Series 記憶體模組，提供龐大的記憶體容量。 • 實驗在搭載第三代 Intel Xeon Scalable processor 的伺服器上進行，並使用 llama.cpp 函式庫。 • 測試結果顯示，在不同量化設定下，每秒可處理 0.75 至 1.50 個 Token，並計畫未來結合 GPU 加速。