屏蔽 GPTBot 不等于屏蔽 ChatGPT 搜索:面向三类 AI 爬虫的 robots.txt 写法
文章指出,把训练用爬虫和 AI 搜索用爬虫混在同一段 robots.txt 里,会让小 SaaS 意外退出 ChatGPT 搜索或 Perplexity 答案。
文章指出,把训练用爬虫和 AI 搜索用爬虫混在同一段 robots.txt 里,会让小 SaaS 意外退出 ChatGPT 搜索或 Perplexity 答案。
Belle AI 开发者发现托管结账让用户在支付服务商域名完成付款后很少回到自己站点,GA4 的购买事件几乎不上报,收入只出现在支付后台。
国际象棋站点 cipherchess.com 在 9 月更新后 GSC 曝光量从 8 月中约 30k/天跌至约 2k/天,但点击量已回升到约 75–85/天,接近此前约 150 点击的水平。作者推测 Google 砍掉了大量他原本排在第 3 页的垃圾长尾查询,只保留了真正有排名的词,当前平均排名为 5.1。
Nozzle 分析显示,9 月 13 日至 10 月 9 日期间 8.0% 的 Google 结果页缺失了关键词的常见站点,远高于 8 月 20 日至 9 月 9 日的 0.17%,该比例在 9 月 27 日至 29 日一度达到约四分之一。
《纽约时报》长期把首页最优质的位置留给免费文章,并明确标注"免费",以此最大化触达、在搜索中对抗非付费墙竞品。文章指出,订阅品牌容易被默认有付费墙,即使文章免费读者也会误以为要付费,因此必须主动打标签;免费内容应被视为获客触点而非流失收入,可用免费徽章、结构化数据和 OG 图片做 CTR 实验。
Appstack 的 Lucas Moscon 给出在 Google Ads 上投放增强型应用广告(EAC)的完整操作指南,用最终 URL 跳转商店的网页广告替代 Google App Campaigns(GAC),从而获得关键词、版位和预算控制权。
推荐理由:原文给出 EAC 在 Google Ads 上的完整搭建流程与投放数据,可对照调整订阅应用的买量结构。
SEO 顾问 Marie Haynes 提出,网站迁移可能触发 Google 对站点质量的重新审查,且其质量标准已明显收紧。她调查的一个兴趣类博客在正确完成 Search Console 地址变更、重定向映射和站点地图后,98% 的 URL 显示未收录,四个月后仅首页被收录。她建议先排查技术问题,若确属质量问题,则需产出真正原创的内容,甚至考虑换新域名重做。
一位独立开发者在 Reddit r/indiedev 求助:第二款游戏 Kickstarter 众筹页面刚通过审核,但预算为 $0,付费广告、赞助和代理合作都排除在外。他计划先在 itch.io 和 Google Play Store 上线,想了解零预算下该去哪里找目标玩家,以及短视频、开发日志、社区帖哪类内容最有效。
通讯平台 Buttondown 在不依赖大额融资的情况下突破 $1M ARR,创始人 Justin Duke 在 Indie Hackers 社区分析中指出,其获客漏斗已出现变化,产品频繁出现在 Claude、ChatGPT、Gemini、Perplexity 等 AI 推荐中。
独立开发者可借助 AI 可见性工具追踪品牌在 ChatGPT 等回答中的提及、引用与推荐情况。Screpy Max 年付 $456、含每项目 50 条 AI 提示词。
面对 AI 对话式搜索带来的不可追踪曝光,PPC 从业者可把展示量与展示份额当作方向性信号,用 Microsoft Advertising 的基于展示的再营销(IBR)触达看过广告但未点击的人,并对比品牌搜索、直接流量与社交讨论等跨渠道相关性。同时应优先做好转化追踪(含点击与非点击),把信号回传给广告平台,并用自有 CRM 或电商数据校验平台归因。
独立开发者推出免费工具 BeforeShare,可在浏览器本地查看照片、PDF 和 Word 文件中的隐藏元数据并保存清理后的副本,文件不上传、无需账号。最新 28 天 Google 搜索点击达 2,890 次,上一周期为 570 次;展示次数从 12,046 升至 41,520。
一位做了 7 年 SEO 与数字营销的站长正把现有网站重建为帮 SaaS 创始人做产品曝光的平台,而非另起新域名。该站积累 7 年历史,网站、newsletter 和社交媒体的合计受众超过 70K,大量内容排在 Google 首页并出现在 Google AI Overviews 中。他正探索用这套基础帮 SaaS 创始人建立可见度、获取相关外链并把产品推给更多潜在用户。
面向独立开发者的 7 款平价 SEO 工具清单,价格于 2026 年 10 月 15 日核验:Google Search Console、Screaming Frog(每次最多 500 个 URL)。
一位独立 iOS 开发者用小额付费测试验证 3 个 App 想法的需求,每个想法配一个仅限 iPhone 的落地页和邮箱等待列表。Google Search 已跑约一周,其中一个想法 289 次展示、15 次点击、5.2% CTR、约 $1.70 每次点击,另一个约 $2;Meta 每个想法约 $100 跑 10 天,仅限美国和 iPhone,本周开始。
Google 发布《The Non-Canonical Cabinet》系列首支视频,Cherry Prommawin 与 Gary Illyes 讲解 Google Search 如何处理 URL。
Wix 首份 State of Websites 报告基于超 3 亿用户数据指出,搜索仍占网站流量的 42%,直接访问占 40%、社交占 13%,LLM 带来的流量虽不足 1%,但 2024 至 2025 年间增长四倍。
过去 15 年 SEO 一直是最赚钱的渠道,但 Google 自 Helpful Content Update 起持续清理纯 SEO 站点,HouseFresh 搜索流量一度从 2023 年 9 月的每日 4,000+ 访客跌至 2024 年初的 200,Retro Dodo 损失 85% 自然流量,同期 Reddit 增长 190%。
一位独立开发者花 4 个月从零设计、开发、部署并重做网站,累计 157 次提交,用来验证自己做在线曝光自动化的商业想法。他认为商业网站不需要 GSAP/Motion.dev,但需要 schema.org 结构化数据、服务端渲染、快速加载和可被爬取,先做好程序化 SEO 再谈博客和外链。
seoClarity 将于 10 月 28 日 2 p.m. ET 举办“How AI Shopping Agents Decide Which Products to Recommend”网络研讨会,由 Chris Sachs 和 Aris Vrakas 主讲,讲解如何用商品详情与购物者语言帮助 AI 购物工具匹配商品。
一位 Reddit 用户认为 llms.txt 的争论不值得继续,直接加上即可。SE Ranking 分析约 30 万个域名未发现该文件与 AI 回答引用有关联,Ahrefs 检查 13.7 万个站点发现 97% 的文件从未被请求过。
一位有近 20 年 B2B 技术营销经验的人指出,技术强的开发者工具常因创始人先做产品、把获客推后而增长缓慢。他建议先分析 20–30 个搜索查询并按搜索意图分组,用故障排查、技术对比等可被 AI 引用的技术内容获客,并追踪注册转化率、激活率、付费转化率和 CAC(获客成本),而非只看自然流量。
Erste Advertising CEO Barbara Nekrasova 复盘了为一家 FinTech 客户做社区冷启动的过程:先花约 $900 找 5 位网红发帖。
Conductor AI Search 适合已在用 Conductor 的 SEO 团队,把 AI 可见性叠加在关键词与页面表现之上;OmniForce 则把 AI 答案引擎当作唯一战场,按 prompt 和引擎追踪被引用的来源。两家都不公开完整价目表,也没有公开的准确度基准,OmniForce 提供免费 GEO 审计起步、付费按站点报价。
一位开发者在 Hacker News 发帖称,自己正用 Gemini 修复应用的 SEO,这篇 HN 帖子的标题「ChatGPT and 18 = Chat18GPT」就是 Gemini 给出的 $0 营销预算点子。他调侃说,Google 的 AI 正在帮他说服 Google Search 承认自己网站的存在。
Bing Webmaster Tools 在 AI Performance 报告中上线 Beta 功能 Topics Portfolio,把网站出现的 grounding queries 归入更宽的主题聚类,并给出 Topic Size、Sites Cited、Queries 三项生态指标。
独立开发者发布首个网站 DevKit Market,用于分享开发者博客、技术指南、资源和工具,Google Analytics 显示访客来自美国、德国、法国、新加坡等国家。作者表示仍在学习 SEO、探索如何触达更多开发者,并向独立开发者同行征集首个网站的增长经验。
一位独立开发者做了个免费、无需注册的 AI 术语词典,约 300 个词条,每周更新,每条含释义、两个例句、发音、词源和相关词链接。上线 13 天后,多数页面已被 Google 收录,约 700 次展示、平均排名 44,来自陌生人的点击为 0。他判断原因是还没有外链,且「hallucination」这类词已被 Merriam-Webster 和大厂词表占据,因此转向无人定义过的新词。
在 ChatGPT、Perplexity 和 Gemini 中跑 20-30 个买家会问的选型问题(如“best X for small agencies”“X vs Y”),记录自己是否被推荐、还是仅被列出,以及被引用的来源。被引来源常是评测站、Reddit 帖或 YouTube 视频,而非公司官网,这就是缺口所在。4 周后重跑同样问题看是否有变化,单次结果意义不大。
一位新加坡独立开发者做出了以共同兴趣、爱好和活动为核心的约会/社交 App 原型,但卡在冷启动上:约会 App 需要其他活跃用户才有用,没人愿意加入空平台。他正在纠结先上 Google Play Store 还是先做网站,并询问其他开发者如何获取前 10–100 个用户、是否该用 waitlist 攒够人再发布。
针对已有服务页的下一次修改,可用 Search Console 按页面筛选并查看其查询词,但部分查询会被省略或匿名化,报告只能视为部分视图。对每条相关查询记录用户想决定什么、页面在哪里回答、还缺什么信息,再分成答案被埋没、答案缺失、搜索意图不符三类处理。修改前保存旧版本并记录具体改动,后续复盘时保持页面/查询筛选与对比周期一致。
一位 PPC 投放者分享了自己管理过的表现最好的关键词之一是 cancel [竞品] contract,该词点击率 15%,获客成本比账户通用广告低约 18%。
Semrush 官方博客给出用 Semrush AI Visibility Toolkit、Google Search Console、Google Sheets 和付费 Claude 方案搭建 AI 可见性仪表盘的方法,首次搭建约 90 分钟,每周更新约 20 分钟。
独立开发者把 MentionMap 的落地页发到 r/roastmystartup 被三条评论指出问题后改了 v2:数据来自各 AI 引擎官方 API 的抽样、已在 FAQ 说明,并改为报告多次运行的提及率、公开 prompt,不再给黑盒评分。
面向 AI 与 SaaS 开发者,从 SEO、AEO(Answer Engine Optimization)和 GEO(Generative Engine Optimization)三方面给出被 AI 引用的实操方法。
有用户通过云浏览器 browser.lexmount.com 用 Google 账号注册 Muse,用 gmail 邮箱多次注册都需验证,换成非 gmail 邮箱后一次成功且无需验证。加入后 48 小时内在“设置”中兑现邀请码 TLM0N7,双方可各得 10 亿个 Muse 词元。
SaaS 文档的 XML sitemap 审核需要两项检查:文件是否有效,以及其中的 URL 是否该被收录。一个文件能通过 XML 校验,却可能列出重定向、私有路由或已下线的页面。
一位 Reddit r/SaaS 用户发帖求助:订阅制产品、App 或 SaaS 投放 Meta、TikTok、Google、Apple Search Ads 等付费渠道后,收入分散在 Stripe、Paddle、App Store、Google Play 多处,几乎没人有一个干净的数字。他想了解订阅收入从哪进来、广告支出从哪出去,以及当下如何按渠道计算 CAC 和回本周期、有没有可用工具。
Calnex 作者运营一个免费计算器平台,含 217 个工具、12 种语言、约 7,000 个 URL。他发现程序化页面会被 Google 爬取但不被收录,4,000 多个页面停在 Crawled - currently not indexed,12 种语言乘以 600 个工具放大了近似重复问题。
V2EX 出现一则招聘帖,招募远程或深圳全职的高级 SEO,负责 Web3 交易所、数字资产钱包、BTC 等关键词在 Bing 中国、百度、360、搜狗和 Google 的排名优化,黑帽白帽均可。要求黑帽 1-3 天上首页、白帽持续数月首页,或能复现竞品策略。合作方式含全职、远程长期、购买技术方案及 CPS,测试期不出结果不付费。