Cloudflare Changelog·· 2024-09-23精选AI 评分60
Cloudflare 向所有站点开放 AI Audit,可查看并拦截 AI 爬虫
AI Crawl Control - AI Crawl Control
AI 导读
Cloudflare 宣布所有站点现在都能使用 AI Audit,用于汇总已知 AI 服务的抓取行为。该功能可查看爬虫访问频率和哪些内容最受欢迎,拦截特定 AI 机器人,并通过自动 WAF 规则执行 robots.txt 策略。
推荐理由
Cloudflare 全站开放 AI Audit,可查看 AI 爬虫抓取频率并拦截指定机器人。
来源:Cloudflare Changelog · developers.cloudflare.com