Reddit r/webdev· /u/KronicXD·· 2 小时前AI 评分38
一个检查 14 种 AI 爬虫能否通过 robots.txt 的免费工具，以及让我意外的 RFC 9309 规则
[Showoff Saturday] A checker for which of 14 AI crawlers a robots.txt lets in, and the RFC 9309 rule that surprised me
AI 导读
开发者推出免费工具 AI Crawler Checker，输入站点即可逐个显示 GPTBot、ClaudeBot、PerplexityBot 等 14 种 AI 爬虫是否被允许抓取首页，并以 GPTBot 和 ClaudeBot 身份请求首页验证服务器是否区别响应。
来源：Reddit r/webdev · reddit.com