被抓取 117 万次，收录 4 个页面。Google 解释了问题出在哪

一位站长晒出了一组很扎眼的截图：Googlebot 在几周内抓取了他的站点 117 万次，而 Search Console 显示，大约 18 万个页面里只收录了 4 个 URL。首页还不在其中。

John Mueller 的回答值得当作一条通用教训来读，而不是当成某个倒霉站点的个案诊断。他指出了两个问题。

问题一：一个让「收录」变得没有意义的技术故障

「你站点上被收录的那批 URL，它们全都跳转到首页，所以看起来你还有一些大的技术问题需要解决。」

仔细读这句。Google 已经收录的那些页面，正在跳向别处。收录是一整条链的下游——发现、抓取、渲染、规范化——而一个把所有东西都塌缩到首页的跳转链，意味着 Google 选择留下的那些页面，正是那些哪里都去不了的页面。

这就是大量抓取会掩盖的失效模式。抓取量看起来像关注，其实不是。Google 抓了 117 万次，是因为有 18 万个 URL 可看，而且有什么东西一直让它回头看——不是因为这个站点有价值。

问题二：规模大到没人维护得了的程序化页面

Mueller 的第二点关于这个站点所属的类别。他把它归类为「大型商品聚合站」，并说把这样一个站点做好、维护好并不容易：你最后会拥有数量巨大的 URL，而且显然是程序化自动生成的内容；要让搜索引擎相信它有价值，让用户相信它有价值，都会很难。

接着是那句应该印在每一份「我们要生成一万个页面」计划顶端的话：Google 总体上并不喜欢程序化 SEO。

为什么这不止关系到聚合站

规模化生成页面的诱惑不只存在于商品聚合站。它会以这些形式出现：为每个竞品做对比页、为每座城市做落地页、为每种品类排列组合做列表页、为某个细分领域里的每个工具做收录页。

这些做法都会产出 URL。而 Google 一直在问的是：这些页面各自值不值得存在。答案是按页面逐个判定的，而不是按站点整体——这也正是为什么一个大站点里可能某个板块在排名，另一个板块整个被丢弃。

在规模化生成任何东西之前，值得先过两道测试：

如果第四个答案是「能」，那你就找到了那些不该单独存在的页面。

同一个问题在站外的版本

同一套逻辑反过来说，也适用于别人发布的关于你的页面。一个拥有 18 万条自动生成收录的目录，有同样的聚合问题：它可能被抓取很多、被看重很少，而它某个页面上的引用，会继承这个处境。

这也是为什么挑选提交目标时，真正有用的筛选标准不是域名权重，而是你落到的那个页面是不是由人编排的。一个有审核流程的精选目录上的收录——在 https://backlinksubmit.org 上，平台取自一份手工筛选的清单，而不是抓来的——与一个生成式索引里的条目，是两种性质的资产，即使两者都技术上在线、都能通过链接检查。

如果你在这里看到了自己的站点

先从跳转开始查。如果被收录的 URL 都塌缩到首页，那么在修好这件事之前，你做别的都没意义。然后拿出最大的一批程序化页面，过一遍上面那四个问题；诚实的答案通常是：其中五分之一应该存在，剩下的应该合并。

你的直觉会是想靠「加页面」来修。而解法几乎总是「删页面」。

常见问题

抓取量很大，说明 Google 喜欢我的站点吗？

不说明。抓取是发现，不是认可。一个有几十万 URL 的站点可以被持续抓取，同时几乎不被收录。

Google 会惩罚程序化 SEO 吗？

不是作为一条政策。Google 的立场更接近「冷淡，并会滑向不信任」：生成的页面按个判定，而其中大多数不合格。

最快的诊断是什么？

查你的被收录 URL 是否跳转到别处。如果很大一部分塌缩到首页，那你要先解决的是技术问题，而不是内容问题。

我怎么知道哪些页面该存在？

问两件事：如果这个页面不存在，会有人不爽吗；它能不能合并进同类页面而不损失什么。如果能合并，它就该被合并。