AI 爬虫正在为购物季扩容。该检查你的 WAF 规则了

有专门盯机器人流量的人注意到，OpenAI 在感恩节和黑五之前新增了大量 IP 段——被描述为一连串 /28 区块，而且过去一到两个月有「明显的规模拉升」，这还不包括 OpenAI 原本已有的那些段。

附在这个观察后面的建议很实际也很简短：确认这些段被加进了你的 WAF 规则，或者干脆用你 CDN 的机器人识别。

你的日志里会出现什么

机制很直接。购物季意味着更多人向 AI 助手询问商品，也就意味着为了回答这些问题要抓取更多页面。如果你的站点属于人们会购物的品类，你的爬虫流量会上升，而且是不均匀地上升——在高峰日前后会出现真实的尖峰，而不是一条平滑曲线。

由此有三件事，其中只有一件是问题。

请求量不是需求信号。 OpenAI 抓取的量远大于它带来的推荐量。满屏的 AI 机器人访问只能说明：在回答你所在品类的问题时，你是一个有意思的来源，而不是说流量要来了。

容量是共享的。 同一个服务器上限服务于 Googlebot、Bingbot 和每一个 AI 爬虫。在你商业上最忙的那一周遇到爬虫尖峰，是一次资源事件——在它发生之前知道这件事，比发生后才知道好。

真正的风险来自你自己的防御。 一条太宽的 WAF 规则、一份会拦掉未识别 IP 段的机器人管理配置、或者一个按真人流量调出来的限流阈值，都会在新 IP 段出现的那一刻开始拦截它们。这就是一个站点在它最想被引用的那个月里，变得无法被「它想被引用到的那些系统」读取的方式。

一份购物季前的检查清单

第二行是大多数意外拦截的藏身之处。自定义封禁清单会老化：它们是在某个被机器人流量烦到的星期里写下的，而当某个合法爬虫新增四十个段时，没人会回去复查它。

反面立场，以及为什么它是一个决定、而不是一次意外

有一个正当的立场是：全禁掉，我们从它们那里什么也拿不到。很多出版方正是这么做的，对与训练相关的代理来说，这是一个站得住脚的政策。

站不住脚的，是意外走到那一步。这两者很容易混淆，因为从你自己的分析数据里看，失效的样子完全一样。区别在于：是否有人做过决定、写下来过、并且能解释为什么。

如果你决定放行，标准很简单：公开页面应该能被任何会请求 HTML 的东西获取；私有或重负载的路由应该被刻意封禁，而不是靠某条继承下来的规则。

它在整件工作里的位置

爬虫访问权限是前提，不是策略。可被读取让你有机会被考虑，但它不会让你被描述。后者仍然来自「关于你的页面存在于那些有自己受众的地方」。

这两半通常由不同的人负责，也在不同时间复查。下面这是第二半里机械的那部分：在 https://backlinksubmit.org 上，你填入产品网址，它从一份手工筛选的清单里匹配相关的目录和社区，团队人工提交，控制台展示提交了哪些平台、各自进度如何。访问检查属于同一次季度复盘的范畴，离那份清单只有十分钟。

常见问题

AI 抓得更多就意味着 AI 带来的流量更多吗？

不是。抓取衡量的是你作为来源有多有用，而不是你被欠了多少访客。两者之间的差距通常很大。

我该往 WAF 规则里加什么？

放行文档里列出的 AI 爬虫 user agent，而不是硬编码会变化的 IP 段。如果你的 CDN 提供「已验证机器人」识别，用那个，而不是自己维护一份清单。

尖峰会把我站点打挂吗？

单靠流量一般不会，但它会在你最忙的那一周消耗共享容量。盯住按代理拆分的请求速率，并把爬虫流量和真人流量放在不同的限流桶里。

屏蔽 AI 爬虫是合理选择吗？

作为一个经过考虑的政策，是合理的——尤其针对与训练相关的代理。但如果是因一份过期的封禁清单造成的意外，通常会在最糟糕的时刻被发现。