robots标签

网上robots的写法，说法一大堆，也不知谁对谁错，到底robots该禁止那些文件呢？今天大概总结一下：首先说明一点：每天百度派出的蜘蛛是有限的，robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录！针对企业站来说，本身蜘蛛资源不会很多，所以我们更要珍惜蜘蛛的每次爬取，让其都有意义，不要去爬取一些无价值的页面，浪费了蜘蛛资源，从而导致网站迟迟未收录，没排名等情况！下面举例列出来：1