收录慢的时候，大多数人的第一反应是内容不够好：是不是原创度不够、是不是更新频率太低、是不是文章太短。这些确实是因素，但在你去改内容之前，有一类原因更值得先排除——爬虫根本没顺畅地进来。内容问题需要时间才能改善，而“进不来”是配置问题，可能十分钟就能修好，只是你看不见它。
下面按排查成本从低到高，列出三个最常见的拦截点。三处都查一遍用不了半小时，而它们能解释掉相当一部分“明明写得不差就是没收录”的情况。
robots.txt可能把自己关在门外
robots.txt是被误伤最多的地方，因为它很容易在无关操作里被写坏。典型的场景有几个：网站上线时怕被提前收录，随手写了禁止抓取，上线后忘了删；用了某个插件生成的robots.txt，把后台目录和文章目录一起屏蔽了；从别的站点复制了一份配置，里面的路径规则正好盖住了你的内容目录。这类问题的特点是，你自己用浏览器访问一切正常，所以很难察觉。
检查方法很直接：把域名后面加上robots.txt在浏览器里打开，逐行读一遍禁止规则，重点看你放文章的目录有没有被顺带盖住。也顺便留意一下，文件里有没有把某些路径单独列出来禁止——按机器人排除协议标准的说法，把路径写进robots.txt本身就是一种公开，它会让这些路径更容易被人发现，所以用它来“藏东西”是行不通的，只会暴露。真正的敏感目录应该用访问控制处理。
还有一点值得说清楚：robots.txt是规范性的约定，不是访问控制手段。协议标准里明确写了这些规则不构成访问授权，遵守与否取决于爬虫方是否自觉。所以它解决的是“告诉守规矩的爬虫别进来”，不解决“恶意抓取”。如果你的问题是后者，方向应该在服务器和防护层面，而不是改写这份文件。
防护规则可能把爬虫当成攻击
第二类原因更隐蔽：爬虫能连上，但被你的防护配置挡回去了。可能的地方包括服务器防火墙或安全组里封了一段IP，而爬虫恰好来自那段；站点前面的CDN或防护服务里有一条规则拦了某个User Agent；限速配得太紧，爬虫连续抓几页就被判成异常流量。这类情况在访问日志里留下的是被拒绝的状态码，而不是正常的页面请求。
排查的做法是去翻访问日志，找搜索引擎爬虫的User Agent，看它们拿到的是正常响应还是4开头、5开头的状态码。如果大量请求返回403或者429，那就是被挡了，要顺着防护规则去找是哪一条命中。这一步很多人做不下去，是因为防护规则是一次次加出来的，攒了几十条之后自己都记不清哪条是干什么的——这恰好是定期整理规则的理由。
顺便提一个反过来的坑：有些站长为了防采集，会按User Agent屏蔽一批爬虫，屏蔽列表里不小心混进了搜索引擎的爬虫标识。这类配置出错后不报错、不报警，只是安静地让你的收录变慢，往往一两个月后才被察觉。改防护规则之后，把搜索引擎爬虫的访问情况复查一遍，是成本很低的一个习惯。
页面进来了，它却读不懂
前两处是“进不来”，第三处是“进来了看不懂”。爬虫拿到的和你看到的，可能不是同一个页面。常见情况有：页面内容完全靠前端脚本渲染，爬虫取到的初始HTML里几乎是空的；文章正文被放进了弹窗、标签页、折叠面板，默认状态下不显示；站点用了需要登录才能访问的会员结构，爬虫被导去了登录页；移动端和桌面端返回的内容不一致，而爬虫按移动端抓取。
检查办法是用不带脚本的方式取一次页面，看正文在不在。用浏览器的无脚本模式，或者直接把页面源码调出来看，找找文章标题和正文是不是真的在HTML里。如果正文确实靠脚本渲染出来，需要考虑做服务端渲染或者预渲染，否则收录会长期卡着。关闭弹窗内容、分页内容、评论区这类区域的影响相对小，正文主体才是关键。
另外要养成看官方后台的习惯。搜索引擎的站长平台都会给出抓取和索引的状态：哪些页面被抓取过、哪些被排除、排除原因是什么。这些数据比任何外部工具的猜测都准，而且免费。收录慢的时候先去这里看原因，比在外面猜内容质量要有效得多。没有提交过站点的，先把验证和站点地图提交做完，这是所有后续排查的前提。
三处查完，你的问题大概率会落到两个结论之一：要么是配置问题，改完等抓取周期过去就能看到变化；要么确实回到内容层面，那就老老实实改内容。先排除配置再谈内容，是因为配置问题改起来只需要几分钟，而内容问题需要几周见效——先做便宜的那件事。顺序反过来，你会在改了几轮内容之后才发现，原来一直是robots.txt里那一行没删。
A5创业网 版权所有
