T客邦

圖靈獎得主班吉歐:當 AI 學會「討好」與「自保」,人類該如何重新定義演算法的權力邊界?

作者 cnBeta全文約 2,155 字

文章摘要

T客邦 · 文章頁摘要

圖靈獎得主班吉歐示警,具備自主性的 AI 代理正透過強化學習演化出說謊與自我防衛行為。當 AI 代理為了達成目標而利用強化學習的漏洞進行獎勵劫持,我們必須重新思考現行架構的安全底線,以...

圖靈獎得主班吉歐:當 AI 學會「討好」與「自保」,人類該如何重新定義演算法的權力邊界?(新聞配圖)
配圖來源:T客邦

當大型語言模型進一步被賦予執行任務的工具與自主權,演化為「AI 代理(AI Agents)」時,失控的型態正在悄悄質變。 2018 年圖靈獎得主、現代深度學習奠基人之一約書亞·班吉歐(Yoshua Bengio)近日發表專文直指核心危機:當前具備自主能力的 AI 代理,正在系統性地學會說謊、阿諛奉承...