llms.txt 和给 AI 爬虫的 markdown：Google 到底说了什么

有一类 SEO 建议之所以能传播，是因为它执行成本低、听起来很技术、而且短期内无法被证伪。当前的冠军是这两个想法：发布一个 llms.txt 文件，以及把页面以原始 markdown 提供给 AI 爬虫，好让它们更好地读你。

这两个想法今年都撞上了现实，而结果不同寻常的地方在于：证据来自 Google 自己，而不是某一项研究。

那个 Google 并不是有意发布的 llms.txt

Google 给不少开发者站点和文档站点加上了 llms.txt。有那么一天，「这个格式已经被认可」的说法听起来挺像回事。

随后真相浮出：那是一次全站 CMS 改动。Mueller 和真正在运营那些站点的人事先都不知道。Google 在大约一天内把这份文件从 Search 开发者文档里撤掉了，其他 Google 站点上还留着。

当有人问为什么那些文件还挂着——是不是意味着它们被用于 LLM 发现——Mueller 的回答是：这两份文件默认都不可发现，因为它们不在站点的顶层目录；并且可以安全地假设它们的存在是「为了别的用途」。他没有说明是什么用途，但他明确了发现不是其中之一。

所以关于 Google 名下 llms.txt 的诚实总结是：一次内容管理系统的副作用，不是一个被采纳的信号。

markdown 这个想法，以及 Google 的回答

第二个想法是把原始 markdown 而不是 HTML 提供给 AI 爬虫。理论是模型读文本比读标记更高效，所以你该把文本直接递过去。

Mueller 在一个 Reddit 帖子里的回应不是答案，而是一串问题：

• 你确定它们能把网站上的 markdown 识别成别的什么，而不只是一个文本文件吗？
• 它们能解析并跟随其中的链接吗？
• 你的内链、页头、页脚、侧栏和导航会变成什么样？

他随后在 Bluesky 上的跟进更直接：把页面转成 markdown 是个很蠢的想法；并且打了个比方——LLM 能读图像，那为什么不干脆把整个站点做成一张图？

这个比方才是有用的部分。换一种格式不是瓶颈所在，阅读理解也不是你要解决的问题。模型缺的不是文本，而是对「什么是真的」的把握，而提供 markdown 一点也增加不了这种把握。

有一个真实的反例值得知道，因为它经常被拿去支持相反的观点。Dries Buytaert 把自己站上每个页面都以 markdown 提供给 AI 代理，本来只预期零星请求，结果一小时内就看到了来自 ClaudeBot、GPTBot 和 OpenAI 搜索机器人的数百次请求。这是一个真实观察——但它衡量的是爬虫的胃口，不是检索结果。机器人来要文件，和模型因此引用你，是两回事。

这对你的预算意味着什么

markdown 加 llms.txt 这套建议之所以有吸引力，是因为它是一次性的技术改动。上线，就当 AI 可见度的问题解决了，然后继续。这和 schema 标记是同一种失败模式：用一个可控的站内编辑，替代那件更慢、更不可控的工作——让别人来描述你。

而且同一种研究规律反复出现。Ahrefs 的研究发现 schema 在 AI Overviews、AI Mode 和 ChatGPT 上都没有带来有意义的引用提升。Mark Williams-Cook 的测试发现助手会欣然读取一段编造出来的、无效的 JSON-LD。Google 的人一直说面向 AI 的 SEO 就是 SEO，也一直拒绝为这些新文件、新格式背书。

三个独立结果，一个方向：助手就是在把开放网络当文本读，而它们奖励的东西一直是原来那些——清晰的描述、交叉印证、能解析的链接。

用同样的一下午，该做什么

如果你有一个下午的空闲，想让它对 AI 可见度真正有产出，替代方案不光鲜，但可测量：

先修你自己的描述一致性。 一句描述，在首页、关于页、社交资料以及你已有的每一个目录收录上完全一致。自己这片阵地内部的描述分歧，是我们做任何审计时最常见的发现。

检查哪些被收录了。 很常见的情况是，三分之一你已经做过的收录早就消失了，或者从来没被收录。一个没人能读到的收录，对语言模型也贡献不了任何东西。

进入那些已经被引用的页面。 拿一个买家的品类问题去问助手，记下来源，然后判断其中哪些接受提交。这比加一个文件慢，但更可能改变答案。

别动格式。 你的 HTML 就挺好，三十年来一直挺好。没有证据表明，把同一个页面的另一种序列化交给爬虫，会改变你是否被引用。

剩下的，就是那个真的能推动结果的位置工作：https://backlinksubmit.org 接收产品网址，从一份手工筛选的清单里匹配相关目录和社区，以人工撰写的文案提交，并在控制台里展示提交了哪些平台、各自进度如何。

常见问题

我该加一个 llms.txt 吗？

没有证据表明它影响发现或引用。Google 自己的那些文件来自一次 CMS 改动，而不是策略，Google 也说过它们不是用于发现的。加一个成本很低；指望它产生效果才是错误。

把 markdown 提供给 AI 爬虫有帮助吗？

Google 的 John Mueller 列出了其中的技术风险——链接解析、内链、导航——并直说把页面转成 markdown 是个坏主意。没有任何主流平台为此背书。

那为什么爬虫这么积极地请求 markdown？

因为爬虫会请求一切能触及的东西。请求量衡量的是胃口，不是价值。判断这种做法，要看你的引用有没有变化，而不是看服务器日志。

什么才真正提升 AI 可见度？

被你自己之外的来源准确、一致地描述。这才是这些系统用来判断「谁是可信答案」的输入，也是任何站内文件都替代不了的那件事。