如何检查网站死链

改版、删文章、换栏目，最先烂掉的不是页面而是内链。烂内链的代价常常被低估：用户点进去404是体验问题，更重的是蜘蛛顺着内链爬行时一遍遍撞墙，抓取预算被无谓消耗，深度页面的发现效率跟着下降。单页小站可以用W3C的LinkChecker在线查，几个URL等一分钟就出结果；页面一多就得自己动手了。自建监控的思路是个简化爬虫：从首页出发抓页面，提取站内链接，逐个请求验状态码，404、超时、5xx全记下来，