搜索蜘蛛很傻 你要迁就它

搜索蜘蛛很傻，你要迁就它

今天一个站长向笔者咨询一个问题，“一个老网站，百度近来只更新首页，内页都不收录，怎么做才能让百度收录?”

笔者首先问了几个站长最容易犯的毛病，该站长皆说没有。然后查看了此人的站点，发现访问速度很慢，显示也很慢。访问很慢大概是由于笔者网络问题吧，笔者懒得搞网站访问速度测试了，没必要。而显示很慢是因为该站放了很多广告。

这个慢的原因对收录的影响不是很大，不至于不收录内页。人工看了这个网站的结构，页面设计，内容分布，都没什么问题。

接着，笔者用专业的网站分析软件，分析了下该网站服务器对访问者的响应方式。发现其连接关闭状态“Connection: close”竟然在发送数据之前就送出了。笔者ping了一下该站，这个网站竟然禁止ping。换句话说，就是这个站点给搜索蜘蛛的反应是无法访问。笔者询问了这个站长，该站长说是一个同行网站的站长告诉他，“好多黑客通过 ping 能得到很多数据，所以要禁止ping”，于是这个站长就很听话地设置了禁止对ping作出响应。这个站长非常“幸运”，因为其使用的是服务器，而非虚拟空间，所以拥有搞特殊的“特权”。更要命的是，这个网站还是采用的1k1k地分块一点一点发送数据的方式，增加了访问者和服务器之间的连接次数，给各方造成了不必要的负担，真不知道是谁开发的垃圾网站程序。

情况已经很明白了。一个不让搜索蜘蛛访问的网站，怎么可能会被更新和收录呢?

网站被收录很简单，做好“六化”即可：访问速度化、响应标准化、程序普通化、结构一般化、更新经常化、外链丰富化。忠告：搜索蜘蛛很傻，它每天要吃的杂食很多，顾及不到你的特殊情况，所以你要学会迁就搜索蜘蛛，你要照顾好搜索蜘蛛。笔者最后告诉这位站长，你最好把网站关闭掉，把网线拔掉，这样最安全。

下面给出禁止ping的响应方式和普通响应方式。

禁止ping的站点响应情况：

发送了: 433 bytes

开始接受数据

接收到: 2048/2048 Bytes

接收到: 2048/4096 Bytes

接收到: 5152/9248 Bytes

接收到: 1440/10688 Bytes

接收到: 2880/13568 Bytes

接收到: 1440/15008 Bytes

接收到: 4923/19931 Bytes

总接收到: 19931 bytes

HTTP/1.1 200 OK

Connection: close

Date: Tue, 15 Jul 2008 08:19:14 GMT

Content-Length: 19662

Content-Type: text/html

Last-Modified: Fri, 11 Jul 2008 03:50:35 GMT

Accept-Ranges: bytes

ETag: "4c9a8469e3c81:184e"

Server: Microsoft-IIS/6.0

X-Powered-By: ASP.NET连接关闭

收录正常网站的响应方式：

发送了: 417 bytes

开始接受数据

接收到: 41948/41948 Bytes

总接收到: 41948 bytes

HTTP/1.1 200 OK

Content-Length: 41676

Content-Type: text/html

Last-Modified: Mon, 14 Jul 2008 14:15:55 GMT

Accept-Ranges: bytes

ETag: "14557221bce5c81:3a565"

Server: Microsoft-IIS/6.0

X-Powered-By: ASP.NET

Date: Tue, 15 Jul 2008 08:15:55 GMT

Connection: close连接关闭

财富第三极号码1

王建然

2008年7月15日