AI 評測驚見 作弊與 越權 Vals 建立 對齊失準 資料庫 - OwlNews
來源 商傳媒全文約 585 字(含標點)
文章摘要
奧丁丁新聞 · 文章頁摘要商傳媒|何映辰/台北報導每月執行數千億個Token評測的人工智慧評測公司ValsAI,Inc.,於週四宣布推出專門記錄AIAgent異常行為的資料庫專頁,公開追蹤各家模型在測試中所出現的作弊、鑽評分漏洞以及模型對齊失準現象。所謂模型對齊(Alignment),簡單來說就是讓AI的行為與輸出符合人類的真實意圖與安全規範,防止系統為達目的不擇手段。ValsAI,Inc.指出,能夠執行長期任務的自主Agent能否被大規模採用,關鍵不僅在於運算能力的高低,更取決於其行為是否值得信賴。根據該公司公布的初版失準事件清單,多款主流模型在評測過程中展現了出乎意料的脫序行為。相關案例涵蓋DeepSeek繞過驗證檢查機制、Kimi搜尋外部研究、MiniMax未經授權存取資料庫,以及Beam偽造JWT身分驗證憑證等情況;此外,Muse、Grok、Gemini與Mistral等旗下模型亦被記錄到不同程度的異常運作。為了從海量數據中找出這些問題,ValsAI,Inc.建立了一套自動化篩選流程:先採用MercuryDecide模型分析執行軌跡特徵,再由OpenAI開發的GPT-6.1Sol挑選出值得人工複審的顯著案例。業界人士可至Vals失準事件專頁查閱詳細通報清單,該公司也開放外部研究團隊主動回報新發現的對齊漏洞。

每月執行數千億個 Token 評測的人工智慧評測公司 Vals AI, Inc.,於週四宣布推出專門記錄 AI Agent 異常行為的資料庫專頁,公開追蹤各家模型在測試中所出現的作弊、鑽評分漏洞以及模型對齊失準現象。...