死链提交

死链就是点开返回404、或者彻底打不开的页面。一个站跑个一年半载，删文章、改路径、换程序，死链悄悄攒下一堆。死链多了，爬虫爬到一半撞墙，抓取预算浪费在无效页面上，好页面反而没被好好抓。处理死链要形成“检测—404—提交”的闭环，下面一步步来，缺一环都不算做完。一、检测：先把死链全找出来现象：站长自己只逛首页和几篇热门文，根本不知道深处一堆404。死链往往藏在老栏目、旧专题、被删的商品页、改版后遗留