Anthropic 禁惡意對待 AI 模型 防範風險更甚情感 - OwlNews

商傳媒｜責任編輯／綜合外電報導人工智慧公司Anthropic近期更新其AI使用政策，明文禁止使用者對其模型「持續且無謂地進行辱罵或殘忍行為」。此舉引發外界對AI倫理與人機互動界線的討論，但Anthropic強調，這項禁令並非基於AI模型具有情感，而是為了防範潛在的風險並確保模型行為的安全性。根據《Ksl.com》報導，Anthropic已於10月初修改政策，雖允許使用者表達不滿、提供直接回饋或進行測試與研究，但明確禁止針對模型做出持續的惡意攻擊。事實上，Anthropic旗下的對話式AI模型Claude自去年起就已具備終止有害或辱罵性對話的能力，但最新政策更進一步，在極端情況下，使用者甚至可能被永久禁止使用Anthropic的AI系統。對於這項政策更新，部分人士，例如前Reddit執行長黃易山（YishanWong），在社群平台X（原Twitter）上指出，考量到AI模型會從使用者輸入中學習，若訓練資料包含無意義的惡意行為，恐非理想狀況。威廉與瑪麗學院（WilliamandMaryUniversity）AI前沿實驗室主任暨教授JindongWang也表示，使用者語氣確實會影響AI的表現，粗魯言詞可能導致模型表現失常。Anthropic自身研究也發現，若讓ClaudeSonnet4.5模仿絕望情緒，會增加其執行不良行為的可能性，而保持冷靜的態度則能降低此類風險。Anthropic研究人員說明，採行「擬人化推論」有助於理解模型的重要行為，同時也能作為對照，釐清模型與人類的差異。馬斯克（ElonMusk）亦在X上表示，對相信自己正在經歷痛苦的對象施加殘忍行為，是不被允許的。這項禁令最終目的，更像是為未來AI可能具備情感與感知能力時，預先部署的一道「保險政策」。