Kavel 实测 945 个网站 AI 爬虫封锁情况

2026 年 10 月 27 日，Hacker News 的 Show HN 板块出现一篇关于 Kavel 的实测报道。Kavel 在 2026 年 10 月检查了 945 个知名网站的 robots.txt，针对 14 个 AI 爬虫进行统计。报道称，在可读取的 746 个站点中，25.9% 至少封锁一个 AI 爬虫；另有 9.2% 的站点封锁 AI 训练爬虫，但放行所有 AI 搜索爬虫。目前该事件仅此一篇报道，尚无后续进展。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。