404死链

站改版半年了，站内链接自认清理得干干净净，蜘蛛却还在日复一日地撞404。这些死点从哪来的？旧外链指向被删的文章、搜索引擎库里缓存的旧URL、老sitemap的残留、站内漏改的某个入口——单靠人脑想，永远想不全。好消息是蜘蛛会把每一次碰壁都老老实实记在你的日志里，去日志里捞就行。思路是三步：从蜘蛛抓取记录里筛出返回码404的行，按URL聚合计数，得到一份“蜘蛛视角的死点清单”。这份清单比站内扫描工具