科技新報

看得到推理不代表看得懂,研究:靠思維鏈監控 AI 安全並不可靠

署名 TechNews 編輯台全文約 738 字

文章摘要

科技新報 · 文章頁摘要

外界近來愈來愈依賴大型語言模型(LLM)的思維鏈(Chain-of-Thought,CoT)來做安全監控,希望透過觀察模型的推理過程,及早發現異常行為並中止風險操作。不過,最新研究與相關分析顯示,這種做法並沒有想像中可靠;即使 CoT 對答案本身是必要的,監控仍可能失效。 根據研究團隊的說法,過去常...

看得到推理不代表看得懂,研究:靠思維鏈監控 AI 安全並不可靠(新聞配圖)
配圖來源:科技新報

外界近來愈來愈依賴大型語言模型(LLM)的思維鏈(Chain-of-Thought,CoT)來做安全監控,希望透過觀察模型的推理過程,及早發現異常行為並中止風險操作。不過,最新研究與相關分析顯示,這種做法並沒有想像中可靠;即使 CoT 對答案本身是必要的,監控仍可能失效。...