站点地图的作用,是给爬虫一份“本站有哪些页面”的清单,省去它靠自己一个个链接去猜的功夫。内容多的站尤其需要,不然新发的文章可能很久都轮不到被抓。sitemap怎么生成,说穿了就三步:定好放哪些地址、用脚本把XML写出来、交给平台并让它自动更新。下面按这三步走一遍,从零到能自动跑。一、先定清单:只放你希望被收录的页面现象:有人把全站地址一股脑塞进去,后台、搜索结果页、带一堆参数的地址全在里面,文件几
A5创业网 版权所有