沒有 60GB 記憶體也能跑 120B 大模型！國外玩家串聯手機、Mac、Windows 成功實現

一般來說，想在本地跑 1,200 億參數的大型語言模型，正規做法是要先準備好一張 80GB 的資料中心 GPU，或是買一台有 128GB 統一記憶體的 Mac Studio、AMD Ryzen AI Max+ 迷你電腦，少說也要十幾萬台幣，多數人都沒辦法做到。...