Google、微軟、OpenAI、Anthropic 支援網站一次退出 AI 訓練,但只管訓練、不擋爬蟲
文章摘要
TechOrange 科技報橘 · 文章頁摘要美國時間 10/30,Google、微軟與 OpenAI 先後宣布,將支援網站在 robots.txt(網站用來告訴爬蟲哪些頁面可以抓取的設定檔)中使用一組共用設定;據《法新社》報導,Anthropic 也表示已開始推行。過去網站要逐一辨識各家 AI 爬蟲、分別寫規則,往後只要寫一次,就能向多家參與的 AI

美國時間 10/30,Google、微軟與 OpenAI 先後宣布,將支援網站在 robots.txt(網站用來告訴爬蟲哪些頁面可以抓取的設定檔)中使用一組共用設定;據《法新社》報導,Anthropic 也表示已開始推行。...