BotGauge 發表 AI 代理紅隊測試平台 助企業防禦潛在攻擊 - OwlNews

圖／本報資料庫商傳媒｜何映辰／台北報導AI安全新創BotGaugeAI今日（29日）宣布推出一款新的AI代理紅隊測試平台，旨在協助工程團隊攻擊、追蹤、評估並管理人工智慧（AI）代理。這項創新工具的目標是在AI代理部署前，有效識別並防堵潛在的安全威脅。BotGaugeAI聯合創辦人兼執行長PraminPradeep指出，由於AI代理的複雜性，傳統軟體測試已不足以應對其特有的漏洞。他表示，AI模型、提示（Prompt）或工具的微小變動，都可能導致代理產生出乎意料的行為，而大多數團隊往往在產品發布後才發現這些問題。該平台期望能讓開發者在早期階段發現問題，並確保相同的錯誤不再發生。這款平台內建超過200種對抗性與真實世界的紅隊測試策略，所謂的「紅隊測試」是指透過模擬惡意攻擊來找出系統弱點的方法。這些策略涵蓋了多種攻擊手法，例如PromptInjection（利用設計過的輸入指令，使AI模型產生非預期行為）、政策繞過、工具濫用以及多輪操控。當平台偵測到攻擊導致的系統故障時，會立即追蹤其提示、工具呼叫、上下文（Context）與執行路徑，並將發現結果轉換為評估機制，應用於未來的版本中。BotGauge平台以輕量級的軟體開發工具包（SDK）形式運作，支援現有的AI開發堆疊，包括OpenAI、Anthropic、LangChain、LangGraph、LlamaIndex、CrewAI與AutoGen等主流工具。此外，該平台已獲得SOC2TypeII認證，並支援單一登入（SSO/SAML）與細粒度存取控制，確保企業級的資安標準。此次發布意味著隨著AI代理應用日益普及，企業得以重新掌握系統安全控制權。