robots.txt技巧

曾庆平SEO在前面的文章中讲过robots.txt概念的时候，留下一个问题：为什么曾庆平SEO的robots.txt写得那么复杂?曾庆平SEO的robots.txt：http://www.***seo.com/robots.txt这样做的目的是，让搜索引擎看来网站更规范和权威。1、用robots.txt屏蔽相似的页面或没内容的页面。我们知道，搜索引擎收录网页后，会对网页进行“审核”，当网页的相似度