Search Engine Journal· Matt G. Southern·· 13 天前AI 评分36
Google 的 Mueller：他在服务器日志中看到 AI 爬虫访问 sitemap 和 RSS
Google’s Mueller Says AI Crawlers Access Sitemaps & RSS In His Logs via @sejournal, @MattGSouthern
AI 导读
Google 的 John Mueller 在 10 月 1 日 Search Off the Record 播客中表示，AI 训练爬虫通常不提供提交 sitemap 的入口，但他在自己的服务器日志中看到有 AI 爬虫访问其 sitemap 和 RSS 文件。
来源：Search Engine Journal · searchenginejournal.com