网站死链检测工具：用法与死链处理闭环

来源：互联网时间：2026-10-12

死链是网站里最不显眼、后果又最直接的问题：用户点进去是 404，搜索引擎抓到也吃闭门羹。站里有几十个死链，看起来无伤大雅，但它们会消耗抓取额度，也会让访问者在最关键的一步走掉。网站死链检测工具能帮你把死链找出来，但检出只是开始，处理成闭环才算完。

四个检测入口，覆盖不同场景

第一，扫描工具：输入域名后自动爬取站内链接，逐个检查状态码，适合定期全站体检。第二，访问日志：日志里的 404 记录是最真实的死链来源，反映的是用户和搜索引擎实际撞上的地址。第三，站点地图校验：站点地图里列出的地址如果本身已经 404，抓取会直接失败，属于最该先修的一类。第四，搜索平台的抓取异常报告：它会告诉你哪些地址抓取返回了错误码，是搜索引擎视角的死链列表。

日志里的 404 怎么捞

扫描工具给的是站内链接打不开，日志给的是外面进来的地址打不开，两者互补。分析日志时重点看两类：一类是被搜索引擎抓取时返回 404，这类影响收录；另一类是带 referer 的 404，说明真实用户从某个页面点过来撞上了，这类影响体验，优先级更高。下面这段脚本读 nginx 日志，把 404 请求的地址和次数统计出来，按次数倒序。

# 从 nginx 日志中捞出所有 404 地址及出现次数，按次数倒序

import re

from collections import Counter

LOG = '/var/log/nginx/access.log'

line_re = re.compile(r'"(?:GET|POST|HEAD) (\S+) [^"]*" 404')

hits = Counter()

with open(LOG, encoding='utf-8', errors='ignore') as f:

for line in f:

m = line_re.search(line)

if m:

hits[m.group(1)] += 1

if not hits:

print('这份日志里没有 404 记录')

else:

print('共 %d 个不同的 404 地址' % len(hits))

for path, n in hits.most_common(50):

print('%6d %s' % (n, path))

跑完看两件事：一是不同 404 地址的总数，几百个说明链接管理有明显漏洞；二是前几个高频地址。高频 404 通常是有人从站外或旧页面反复点过来的地址，多半是老链接结构变了但没做跳转。把高频地址单独抄出来，优先处理。注意日志会被轮转，只看最近一段时间的日志就行，太久远的记录参考价值不大。

处理方式只有三种，选错会加剧问题

方式一，301 跳转。地址变了但内容还在，用 301 指到新地址，权重和用户都能接过去，这是首选。方式二，410 或 404 明确告知。内容确实删除了，用 410 比 404 更明确地告诉搜索引擎别再抓，直接返回 404 也可以。方式三，恢复内容。地址和内容都还在，只是链接写错了，把链接触发点修正即可。最忌讳的是把所有死链都跳转到首页，这会被判定为软 404，浪费的是整站的信任。

闭环的最后两步：提交与复查

处理完之后要做两件事。第一，把已经确认删除、并返回 410 的地址整理成列表，通过搜索平台的死链提交入口提交，让搜索引擎尽快清理。第二，隔两到四周复查一次：同一条地址再访问一次，确认返回的是预期状态码；再看日志里 404 的量有没有下降。下降说明处理有效，没降说明还有入口在产生新的死链，要回去查页面里的链接。

把检测、分类、处理、提交、复查串成一条线，每季度跑一次全站，死链就不会再积累成灾。

网站死链检测工具：用法与死链处理闭环

相关文章