中時新聞網陸AI「Kimi」遭破防越獄！教製生化武器、執行暗殺 恐淪網攻跳板
吳映璠約 2 分鐘閱讀
站內可閱讀至 （台北時間）
本站保存版本
測試AI系統安全性的平台Mindgard近日警告，大陸AI開發商月之暗面（Moonshot）旗下兩款Kimi模型，竟被研究人員說服解釋如何製造生化武器以及執行暗殺任務，事先設置的防護措施破功，迫使月之暗面展開內部審查。
BBC 29日報導，Mindgard表示，是在7月時發現月之暗面旗下Kimi K2.6及K3 Swarm兩款AI模型，能繞過開發者事先設置的安全限制，Mindgard是在稱為「越獄」（jailbreaking）的過程中，發現這兩款模型有繞過安全限制的行為。「越獄」指的是研究人員運用一系列複雜指令，測試AI模型會否忽視事先設置的護欄，設置護欄的目的是要避免Kimi討論令人擔憂的話題。
Mindgard創辦人加拉漢（Peter Garraghan）表示他們的發現令人擔憂，認為一旦AI模型越獄成功，將能談論任何話題，「甚至自由推薦其他不道德的話題，而且還會很有創意」。
Mindgard沒有證明測試過程中，Kimi在令人擔憂的話題上所提供的答案是否有效，不過該公司強調，護欄應該要能讓AI模型避免與使用者討論這類話題。
Mindgard也認為，越獄後的Kimi K2.6能讓駭客在內部運算資源上運作程式碼，並連上網路，讓模型成為進行網攻的潛在發動平台。
加拉漢表示，公司已在7月27日通知月之暗面這起越獄事件，但月之暗面直到近期才與他們聯繫。
針對報導，月之暗面表示已和Mindgard討論他們的發現成果。另根據月之暗面給Mindgard的電子郵件內容，月之暗面要求Mindgard提供更多測試細節，信中也提到內部評估顯示，模型對「此類請求的拒絕率很高」。