Google 详解 robots.txt 对 AI 爬虫、emoji 与国际 URL 的规则

Google 的 Gary Illyes 与 Cherry Prommawin 在 Non-Canonical Cabinet 系列第二支视频中说明 robots.txt 支持与不支持的写法：文件须遵循 RFC 9309，规则路径中的非英文字符要用 percent-encoding，user-agent token 只能含字母和连字符，emoji 无法生效。