AI 爬虫不读你的 sitemap。Mueller 把这句话说出来了。
10 月 1 日，John Mueller 在 Google 的 Search Off the Record 播客里说了一句很多人推断过、但没有官方说破的话：AI 爬虫通常不给站点任何提交 sitemap 的途径。Sitemap 是搜索引擎之间的协议。助手只是跟着链接爬。
这一句话重新解释了 AI 搜索时代的发现机制——也解释了为什么「把你的站提交到各处」现在依然重要。
为什么 sitemap 到不了助手那里
Sitemap 是一条提交通道。它告诉一个接受提交的爬虫：这是我的 URL 列表，来评估吧。Googlebot 读它，Bingbot 读它。GPTBot、ClaudeBot、PerplexityBot 这些助手爬虫是另一套模型：它们抓的是通过链接、训练管线、检索索引找到的页面，而且不提供任何控制台让你说「这是我的内容」。
所以如果你的发现策略是「发布，然后提交 sitemap」，那么你在 AI 搜索里的存在感，完全取决于是否恰好有第三方在助手已经读过的页面上链接了你。
这也解释了 llms.txt 为什么关注度那么高、可测的效果那么小。一个自愿遵守的提示文件终究只是提示。它不创造发现；它只能修饰已经存在的发现。
对机器而言，发现又回到了链接
剥掉产品名字，机制是旧的：爬虫沿着「已经在语料里的页面」上的链接走。对 SEO 来说，那意味着目录和枢纽站。对 AI 搜索来说，也是一样的——只是语料现在用来综合答案，而不是给页面排名。
助手爬虫可靠地在读的页面，是无聊而结构化的：维基式的参考资料、聚合站、评测平台、社区讨论、以及用结构化事实描述产品的目录收录。当助手拼一个「做 X 的工具有哪些」的答案时，它依赖的正是这些页面怎么描述玩家。这意味着你出现在它们上面不是营销装饰，而是发现层。
真正有用的五件事
1. 放对的机器人进来。 检查 robots.txt 和 CDN/WAF 规则。团队意外屏蔽 AI 爬虫的情况非常常见——一条 2023 年写的全量拦 bot 策略，现在默默把 GPTBot 和 PerplexityBot 挡在门外。想进语料，门就得开着。
2. 让已经在语料里的页面链接你。 这是能长期成立的打法。独立页面对「你做什么」的描述——相关目录、聚合站、社区档案——是爬虫发现你的途径，也是模型交叉印证你的材料。一个动作，两个功能。
3. 页面被抓到之后要让机器读得懂。 清晰的小标题、直接的定义、结构化的事实、一致的命名。爬虫找到你了；解析器得能理解你。
4. 让描述在所有地方保持一致。 当爬虫发现十个页面用十种方式描述你的产品，你等于给了模型十个候选去取平均。一致性才是让实体被解析出来的东西。
5. 看日志，别只看 Search Console。 助手爬虫的访问最先出现在服务器日志里。如果你从没见过 GPTBot 或 PerplexityBot，你的 AI 搜索问题在内容的上游——是发现。
「提交」这个本能仍然成立
这里有个值得说破的讽刺。「把你的站提交出去」这个本能没有变错——它只是换了目标。你没法把 sitemap 提交给助手。但你可以把产品提交给助手已经在爬的目录、聚合站和社区，这在功能上就是在有效的那一层做同一件事。
这就是 BackLink 的全部论点：从一份手工筛选的目录和平台清单里做人工提交，并追踪实时状态——因为对 AI 爬虫来说，出现在它们已经读的页面上，就是你唯一能得到的那份「sitemap」。
常见问题
我还要维护 sitemap 吗？
当然要。Google 和 Bing 仍然用它，而大多数发现仍然从 Google 开始。要点是 sitemap 是通道之一，不是全部通道——AI 可见度需要链接层。
llms.txt 能替代面向 AI 的 sitemap 提交吗？
不能。它是一个自愿约定，背后没有提交机制。它能帮一个已经在发现你的爬虫理解站点结构；它不能让爬虫发现你。
我怎么知道哪些 AI 爬虫在抓我的站？
服务器日志和分析工具的 user-agent 数据。常见的是 GPTBot（OpenAI）、ClaudeBot（Anthropic）、PerplexityBot、Google-Extended、Bytespider。零命中意味着你进不了那个助手的检索底座。
我是故意屏蔽 AI 爬虫的，这样不好吗？
这是正当的选择——你可能不想让内容进训练或检索。只是要清楚地做这个决定：保护你内容的那个屏蔽，同时把你从 AI 答案里移除。一个读不到你的系统，不可能引用你。
新收录要多久才会出现在 AI 答案里？
抓取、收录、答案综合是三个各自排队的独立阶段。实际预期是：收录页几天到几周内被索引，引用的移动在两到三个月尺度上出现。每月的检查很简单——把你的钱问题问一遍助手，看谁被点名。
分享文章
