全民一起屏蔽百度的爬虫

时间:2008-09-16

奥运之后,淘宝网屏蔽搜索引擎事件应该算是互联网界最为热门的话题了,淘宝对不同搜索引擎进行不同程度的屏蔽,宣称这一举措意在保护消费者利益。其实根据罗伊网的调查发现在这消息之前淘宝网已将百度搜索屏蔽,不过却没有屏蔽谷歌对淘宝网的抓取。这意味着什么呢?借着近期百度C2C即将上线的新闻炒作,大家几乎都把答案设定在“双方在电子商务领域走向正面冲突的地步”,真的是这样吗?为了C2C之战,所以淘宝屏蔽百度?

屏蔽百度的方式,是通过在网站根目录生成一个 robots.txt的文件,内容为:

User-agent: Baiduspider

Disallow: /

User-agent: baiduspider

Disallow: /

这几名话的意思就是,当爬虫是 Baiduspider时,禁止访问当前网站的所有内容.就是只屏蔽百度的爬虫,对其它搜索引擎,如:Google, Yahoo,有道等并不影响.自从百度长大了以后,站长门一直都受到百度的歁压,随意K掉我们的网站,我的网站: 原来每天有一万多的IP,但自从被百度K掉以后,访问量直线下降,搞得现在都没心思搞下去了.

事到如今,有了淘宝屏蔽百度,各位站长应该在淘老大的号召下,一起屏蔽百度的爬虫,别让百度太囂张了.

屏蔽方式很简单,打开 保存到你的电脑里为:robots.txt,再上传到你的网站根目录,就可以把百度扫门而出.让百度以后搜不出东西,自不然国内的用户就会转到其它的搜索引擎,至少别的引擎不会乱K我们的站吧.对不对?

我现在把我的屏蔽网站给你们看,我不是说说而已的:

大家看着办吧,你想被人K,还是你K别人!随你喜欢了.

站长网新闻榜 www.admin5.com/top

项目推荐

A5创业网 版权所有

返回顶部