電腦王阿達量化壓縮會讓 AI 模型變傻嗎？24 種量化實測：Q3_K_M 以上跟滿血幾乎沒差
署名 達小編全文約 3,118 字
文章摘要
電腦王阿達 · 文章頁摘要Qwen3.6-27B 的 24 種 GGUF 量化大型實測：Q4_K_M 與 BF16 原版在 AIME、Terminal-Bench 上統計無差異，KL 散度 0.05 是選檔紅線，2 位元才真的翻車；量化買的是記憶體不是速度，選檔迷思一次破解。
有在玩本地模型的人應該都有一種迷思：「模型量化程度越低越聰明」，大家普遍的認知是原版（BF16）智力肯定比量化過的版本好，但近日量化社群名人 Piotr Migdał 在 Quesma 部落格發表的大型實測：把 Qwen3.6-27B 的 24 種 GGUF 量化版本全部測了一遍，檔案從 9.6GB...