你是不是正挡着那些产生 AI 引用的爬虫？

OpenAI 今年更新了它爬虫的说明文档，而这类改动正是那种会悄悄让两年前写下的假设失效、而且没人回去复查的变化。

主要变化有几条：OAI-SearchBot 不再被描述为负责供给 ChatGPT 答案里的导航链接——所以屏蔽它并不意味着你不会出现在那些链接里。ChatGPT-User 现在被描述为同时处理 Custom GPT 请求和 GPT Actions；robots.txt 的措辞也被收窄，合规声明现在具体指向 OAI-SearchBot 和 GPTBot。而 OAI-SearchBot 与 GPTBot 之间现在会共享信息：如果你的站点对两者都开放，一次抓取可能同时服务两种用途。

还有一句值得记住，因为它重新定义了整件事：对大多数站点来说，OpenAI 抓取的量远远超过它回传给你的流量。

为什么这不只是模型厂商自己的事

大多数团队从来没有对 AI 爬虫做过一个有意识的决定。他们是继承了一个决定。在 CDN 模板、安全插件的默认规则、以及某个人在机器人流量难受的那一周往 robots.txt 里加的一行之间，一个意外就这样被固化了下来。

结果是出现了一类站点：传统搜索引擎能完整读取它们，而组装 AI 答案的那些爬虫却部分或完全看不见它们。没有任何东西会告诉你这件事。没有报错、没有告警、分析数据里也看不出任何差别——因为这种失效模式的表现形式，是一条你从未收到过的引用的缺席。

一次十五分钟的检查

最后一行会抓到最难堪的失效情形，因为它根本和机器人配置无关。那些需要 JavaScript 验证、需要先点过 Cookie 同意、或者需要登录才能渲染出任何内容的页面，对不运行完整浏览器的爬虫来说实际上是不存在的——不管 robots.txt 里写了什么。

值得内化的那个不对称

如果某家厂商抓你的量远大于它引用你或给你带来的量，那么你的服务器日志就不是需求信号。它衡量的是「你对一个正试图回答你所在品类问题的系统来说有多有趣」，而不是「你被欠了多少流量」。

这个不对称对提交工作有一个实际后果。你放的每一条链接、每一个资料页、每一个收录，都是在指示某个系统去读一个页面。如果那个目标页面根本无法被真正重要的爬虫抓取，这个位置就只完成了它一半的工作——而这一点没有任何提交服务能替你修。https://backlinksubmit.org 覆盖的是另一端：把相关平台匹配到你的产品、人工提交，并在控制台里展示提交了哪些平台、各自进度如何；约 90% 的位置会被收录，某个目录始终没收录的那条会被重提或替换。

而检查你自己的页面能不能给爬虫一个回应，只要三十秒，而且只能你自己做。

值得有意识做出的决定

屏蔽 AI 爬虫是一个正当的选择，很多出版方也确实针对与训练相关的代理做了这个选择。不正当的是意外做到这件事，而要区分这两者，不花你任何成本：

先决定训练，再决定回答。 这是两种不同的行为，后果也不同。很多站点乐意为了「回答问题」被读取，但不乐意被用于模型训练。厂商已经把不同的 user agent 分开，正是为了让这个区分成为可能。

把你希望被引用的页面放开。 首页、定价页、产品页、对比页、支持页，都应该能被任何抓取 HTML 的代理读取。如果一个页面存在的意义是向买家提供信息，把它对爬虫关掉，只会把你从答案里移除。

每次平台变动后重新测试。 CDN 迁移、新加的 bot 管理插件、新的安全插件，是让一套本来有效的配置悄悄失效的三种最常见方式。把「匿名抓取三个最重要的页面」放进季度检查清单。

常见问题

屏蔽 OpenAI 的爬虫会让我从 ChatGPT 答案里消失吗？

不一定，而且规则已经变了。OAI-SearchBot 不再被描述为供给答案中的导航链接，所以单独屏蔽它并不会让你从那些链接中消失。

我该允许哪些 user agent？

这是一个关于「训练还是回答」的政策决定。请读厂商当前的文档，而不是两年前的某篇博客——这些描述会定期更新，今年的变化就是这么出现的。

AI 爬虫会遵守 robots.txt 吗？

文档上说 OAI-SearchBot 和 GPTBot 会遵守 robots.txt；今年的措辞把这层合规收窄到了这两个代理。请核实当前文档，而不要依赖旧的总结。

我怎么知道我的站点有没有被读取？

把日志里的爬虫请求量和引用、推荐流量做个对比。如果爬虫来得很多而引用为零，问题通常在于「可供它们引用的材料」，而不是访问权限。