Search Engine Journal· Roger Montti·· 3 小时前AI 评分26
Google 称可用 robots.txt 屏蔽部分 JavaScript 资源
Google Says It’s Okay To Block Some JavaScript Resources With Robots.txt via @sejournal, @martinibuster
AI 导读
Google 的 John Mueller 确认,网站可以用 robots.txt 阻止 Googlebot 抓取并渲染年龄验证弹窗,即使该弹窗是访客必须看到的。做法有两种:在提供弹窗的外部域名 robots.txt 中禁止抓取,或在自己站点屏蔽加载弹窗的特定 JS 文件。Mueller 提醒,若只有一个承担多项功能的 JS 文件,不建议整体屏蔽,且需确保被屏蔽资源无法抓取时页面仍能正常加载。
来源:Search Engine Journal · searchenginejournal.com