Cloudflare建立爬蟲信任評等,預計供網站控管流量
作者 李建興
文章摘要
iThome · 文章頁摘要網路爬蟲即使通過身分驗證,若反覆忽略網站禁止抓取的規則,或收到HTTP 429後仍不減少請求,信任評等就可能下降,Cloudflare目前在內部評估爬蟲長期行為,未來將開放網站依評等管理流量

原站閱讀
全文請至原站閱讀。
網路爬蟲即使通過身分驗證,若反覆忽略網站禁止抓取的規則,或收到HTTP 429後仍不減少請求,信任評等就可能下降,Cloudflare目前在內部評估爬蟲長期行為,未來將開放網站依評等管理流量

全文請至原站閱讀。