“收录一直在掉、而且停不下来”，这种最磨人。偶发下跌还能等，持续下跌说明站里有个源头在持续制造坏页面或被持续降抓取。要止血，得按顺序查，不能东一榔头西一棒槌。这篇就给你一条固定的排查链路，照着走能最快定位到源头。
顺序很重要：先抓“抓不到”的问题，再抓“抓到但不收”的问题，最后才是“被惩罚”的问题。因为前两类占了持续掉量的八成以上，且修复成本最低。
一、第一步：查 robots 和服务器有没有挡路
持续掉量，第一怀疑对象永远是 robots.txt 误拦和服务器不稳定。有人为了防采集，在 robots 里加了过宽的 Disallow，结果把整站或整栏目挡在了爬虫外面，收录自然天天掉。下面这段脚本读取你站的 robots.txt 并打印所有 Disallow 规则，顺手标出会不会误拦根目录。
# 读取并解析 robots.txt，标出可能误拦重要目录的 Disallow 规则
from urllib.parse import urlparse
import urllib.request
DOMAIN = "https://www.example.com" # 改成你的站点域名
UA = {"User-Agent": "Mozilla/5.0"}
rob = urllib.request.urlopen(
urllib.request.Request(DOMAIN + "/robots.txt", headers=UA), timeout=10
).read().decode("utf-8", "ignore")
print("==== robots.txt 内容 ====")
print(rob)
for line in rob.splitlines():
low = line.lower()
if low.startswith("disallow"):
rule = line.split(":", 1)[1].strip()
if rule in ("", "/"):
print("警告：Disallow 拦掉了整站或根目录 ->", repr(rule))
else:
print("Disallow 规则：", rule)把 DOMAIN 改成你的域名，跑完重点看有没有 Disallow 拦到 / 或者重要栏目。如果有，改掉规则重新提交，观察一周，很多人这一步就止跌了。同时确认服务器近一个月没有长期 5xx，平台的抓取诊断里首页和内页都能正常返回。
二、第二步：查是不是死链在累积
死链是持续掉量的隐形杀手。每次删文章、改栏目不改 URL、做伪静态没做 301，都会留下一批 404。爬虫一次次撞死链，会逐步调低对你站的抓取评价和预算，收录就一路掉。把死链清单整理出来，在平台提交死链文件，能显著减缓掉量。
三、第三步：查内容是不是在变水
如果抓取和内容入口都正常，就翻内容。持续掉量往往对应“内容质量在持续滑坡”：从原创变采集、从详实变凑数、标题描述大量雷同。搜索引擎对站点的整体评价是动态的，质量一路往下，收录配额就一路收缩。拿近一个月和半年前的内容比信息增量，差距明显的那批就是掉量源头。
四、第四步：最后才怀疑惩罚
前面三步都干净，掉量还在持续，才考虑是不是触发了算法惩罚。常见触发点：群发垃圾外链、隐藏文字、桥页、内容违规。这类一般伴随“全站索引量阶梯式下探”且抓取频次同步暴跌。确认前先排除前三类，别一上来就觉得自己被惩罚，结果改错了方向。
相关阅读：
A5创业网 版权所有