谈谈怎么利用服务器日志来分析我们页面为什么不被收录

很多人都在说原创，每天去采集，然后修改后，重新发到自己的网站上，但是不知道你木有想过一个问题，我们发的文章有没有意义，为什么不被收录，蜘蛛怎么去认为我们发的文章有没有意义。

在这之前，我们得知道服务器日志在哪里寻找，服务器日志一般存在于FTP空间一个Log的文件夹下，并且是tor后缀结尾。将他下载后，解压后我们得到俩个文件，将有大小文件后缀名更改为域名.txt 然后打开。我们会得到一大串文字字符，不要担心从何看起，我们一条条的分析。但是我们首先得知道那些IP所代表的意思。下面我都列出来了。

Baiduspider=Baiduspider蜘蛛

Googlebot=Googlebot蜘蛛

Sogou=Sogou蜘蛛

Yahoo=Yahoo蜘蛛

360Spider=360Spider蜘蛛

123.125.68.=123.125.68沙盒

220.181.68.=220.181.68沙盒

220.181.7.=220.181.7预备抓取

123.125.66.=123.125.66预备抓取

121.14.89.=121.14.89新站考察

203.208.60.=203.208.60网站异常

210.72.225.=210.72.225巡逻

123.125.71.106=123.125.71.106低权重

123.125.71.95=123.125.71.95低权重

123.125.71.97=123.125.71.97低权重

123.125.71.117=123.125.71.117低权重

123.125.71.=123.125.71低权重汇总

220.181.108.95=220.181.108.95隔日快照

220.181.108.92=220.181.108.92权重抓取

220.181.108.91=220.181.108.91综合权重

220.181.108.75=220.181.108.75内页权重

220.181.108.86=220.181.108.86权重首页

220.181.108.89=220.181.108.89权重首页

220.181.108.94=220.181.108.94权重首页

220.181.108.97=220.181.108.97权重首页

220.181.108.80=220.181.108.80权重首页

220.181.108.77=220.181.108.77权重首页

220.181.108.83=220.181.108.83权重首页

220.181.108.=220.181.108权重蜘蛛汇总

我们就其中一条分析

123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12 QQDownload/1.7'

根据上面的定义分析：

123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html这句话代表的意思是谷歌蜘蛛在2014年6月24号，15:12:04来我的网站抓取了xingyexinwen/129.html 这么一条URL，然后将其放到沙盒中(123.125.68.45 代表沙盒蜘蛛。)

HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) '至于这个，其中的200是返回码，代表是正常，当然返回码还有301、404、302、304等等一些，可以去查一下代表的意思。其他代表是它访问电脑的属性，swindows操作系统等等。

不知道看了这些，你晕了没有，当然我们一般习惯用exec表格去分析日志，将txt文件导入表格中，能够帮助我们更直观的去分析日志，知道蜘蛛在我们网站上抓取了哪些内容，然后将内容定义为什么。当然还可以利用日志分析软件来分析。

关于更多，也可以搜索MOON虫博客www.croelhui.com，需要我介绍什么，欢迎大家给我留言。