跳到正文
原文
Cloudflare Changelog·· 2024-09-23精选AI 评分60

Cloudflare 向所有站点开放 AI Audit,可查看并拦截 AI 爬虫

AI Crawl Control - AI Crawl Control

AI 导读

Cloudflare 宣布所有站点现在都能使用 AI Audit,用于汇总已知 AI 服务的抓取行为。该功能可查看爬虫访问频率和哪些内容最受欢迎,拦截特定 AI 机器人,并通过自动 WAF 规则执行 robots.txt 策略。

推荐理由

Cloudflare 全站开放 AI Audit,可查看 AI 爬虫抓取频率并拦截指定机器人。

来源:Cloudflare Changelog · developers.cloudflare.com