Hacker News Show HN· alishaikha·· 3 小时前AI 评分49
Kavel 实测 945 个网站：25.9% 至少封锁一个 AI 爬虫
Show HN: Which big sites block AI training crawlers but let AI search in
AI 导读
Kavel 在 2026 年 10 月检查了 945 个知名网站的 robots.txt，针对 14 个 AI 爬虫，可读取的 746 个站点中有 25.9% 至少封锁一个 AI 爬虫，9.2% 封锁 AI 训练但放行所有 AI 搜索爬虫。
来源：Hacker News Show HN · getkavel.com