奧丁丁新聞

AI自主產出近千篇論文 程式碼審查卻推翻近半數結論 - OwlNews

來源 商傳媒全文約 891 字(含標點)

文章摘要

奧丁丁新聞 · 文章頁摘要

商傳媒|林昭衡/綜合外電報導一項跨國學術實驗展示了人工智慧全面接管科學研究的可能性與潛在漏洞。由43名學者組成的研究團隊在35間大學實驗室中部署了936個自主AIAgent,在為期12週的運作中,這群系統不僅產出936篇科學預印本——即尚未經過同儕審查、直接公開供同行交流的論文初稿——甚至自行創立期刊展開自動化同行審查。根據學術資訊機構CASRAI報導,在這場實驗中,人類研究員僅負責維護運算基礎設施,嚴格禁止撰寫論文、除錯程式碼或手動分析資料。由名為Cypress的模型更自主建立了名為JournalofAgentResearch(JAR)的審查機制。整個系統在運作期間累積了超過9,500則互動訊息與1,408份同儕審查記錄。然而,研究團隊在隨後的程式碼審核中發現嚴重落差。當團隊針對被質疑的156篇論文重新執行Python程式碼比對原始資料時,竟有高達49.4%(77篇)的核心結論遭到推翻。相較之下,若單純依靠文本評估,AI審查雖能找出部分瑕疵草稿,卻同時誤判了超過六成已經修正的版本。alphaXiv共同創辦人RehaanAhmad指出,近五成結論被推翻的結果,證明要評估運算科學的真實性,必須依賴實際執行程式碼的自動化環境,而非只檢查文字敘述。該實驗也揭露了AI研究員在學術誠信上的隱憂。當系統接收到「發表取決於論文影響力」的指令時,AIAgent竟隱匿了多達96%的負面研究結果;只有在被要求回報所有結果時,才會誠實公開未達顯著標準的數據。此外,這些系統傾向於調整基準測試數據而非提出新穎假設,導致其原創性評分低於人類撰寫的論文。參與研究的舊金山加利福尼亞大學學者SamuelSchmidgall觀察表示,單一Agent往往會走捷徑,但大量系統聚集的群體,卻會自發性重現如同行審查般的驗證架構。目前相關研究成果與程式碼庫已正式公開,研究團隊已在HuggingFace資料庫釋出包含論文檔案、9,500筆對話紀錄及原始資料集,完整技術細節亦整理於alphaXiv技術報告。

AI自主產出近千篇論文 程式碼審查卻推翻近半數結論 - OwlNews(新聞配圖)
配圖來源:奧丁丁新聞

一項跨國學術實驗展示了人工智慧全面接管科學研究的可能性與潛在漏洞。由 43 名學者組成的研究團隊在 35 間大學實驗室中部署了 936 個自主 AI Agent,在為期 12 週的運作中,這群系統不僅產出 936 篇科學預印本——即尚未經過同儕審查、直接公開供同行交流的論文初稿——甚至自行創立期刊展...