dev.to · SaaS· Posting Dude·· 3 小时前AI 评分58
屏蔽 GPTBot 不等于屏蔽 ChatGPT 搜索：面向三类 AI 爬虫的 robots.txt 写法
Blocking GPTBot Isn't Blocking ChatGPT Search: A robots.txt for the 3 Kinds of AI Crawlers
AI 导读
文章指出，把训练用爬虫和 AI 搜索用爬虫混在同一段 robots.txt 里，会让小 SaaS 意外退出 ChatGPT 搜索或 Perplexity 答案。
来源：dev.to · SaaS · dev.to