沒有 60GB 記憶體 也能跑 120B 大 模型! 國外 玩家 串聯 手機、 Mac、 Windows 成功 實現
作者 Rocky

一般來說,想在本地跑 1,200 億參數的大型語言模型,正規做法是要先準備好一張 80GB 的資料中心 GPU,或是買一台有 128GB 統一記憶體的 Mac Studio、AMD Ryzen AI Max+ 迷你電腦,少說也要十幾萬台幣,多數人都沒辦法做到。...