硬體玩家巧用停產記憶體 無 GPU 成功驅動 2.8 兆參數 AI 模型 - OwlNews

圖／示意圖商傳媒｜林昭衡／綜合外電報導根據《Wccftech》報導，一名硬體愛好者（俗稱Homelabber）近日達成一項壯舉，在僅靠中央處理器（CPU）運作的伺服器上，成功驅動月之暗面（MoonshotAI）高達2.8兆參數的KimiK3大型AI模型，且全程未使用圖形處理器（GPU）。這項實驗的關鍵，在於利用了已停產的IntelOptanePersistentMemory200Series(BarlowPass)記憶體模組，彌補了AI模型龐大運算所需的記憶體容量。此KimiK3模型是一個2.8兆參數的MoE（混合專家）模型，代表它是一個極其龐大且運算需求高的AI模型。該模型在運算時，每個Token（詞元）約會啟用1,040億個參數，並具有一百萬個Token的理論上下文視窗（ContextWindow）。即使是經過重度量化（Quantization）的版本，也需要數百GB的記憶體才能運行。IntelOptanePersistentMemory200Series（英特爾傲騰持續性記憶體200系列），這是一種已經停產的記憶體技術，以提供超大容量著稱，正為此類應用提供了獨特機會。這名硬體愛好者在一台搭載第三代IntelXeonScalableprocessor(英特爾至強可擴展處理器)的40核心CPU伺服器上進行了測試，並使用了llama.cpp函式庫來進行AI模型推理。IntelOptanePersistentMemory200Series模組單條容量可達512GB，為此實驗提供了關鍵的大容量支援。測試結果顯示，在1位元量化（1-bitquantization）且關閉DirectAccess(DAX)的配置下，該系統每秒可處理1.50個Token，相較於開啟DAX時的0.85Token/秒，效能提升了約76%。若採用3位元量化（3-bitquantization），則每秒約能處理0.75個Token。報導指出，以0.75Token/秒的速度生成5萬個Token，大約需要18.5小時。為應對IntelOptaneDIMM（雙列直插記憶體模組）在運作時可能產生的顯著熱量，該硬體愛好者額外安裝了兩個專用的12W鼓風扇，直接對準記憶體模組散熱。因為Optane模組的熱節流（thermalthrottling）會在攝氏83度啟動，而攝氏85度則會觸發保護性關機。該硬體愛好者表示，未來計畫進一步嘗試結合GPU加速，以及整合DRAM和Optane的混合配置，以期提升AI模型推論速度。這項實驗證明了即便沒有頂級顯示卡，仍能透過創新硬體配置，實現大型AI模型的運作，為AI領域帶來了新的可能性。更多詳細資訊可在Reddit論壇上查閱。