教你如何分析百度蛛蛛Baiduspider日志

今天将昨日的网站日志进行下分析，很多人都不知道网站日志该如何分析，近日网站才被百度进行了收录，所以这段时间比较关注网站日志，这次主要分析下Baiduspider的抓取记录，和大家一起分享下吧！

我们注意粗体标注出来的地方

123.125.66.104 - - [23/Sep/2009:08:40:07 +0800] "GET / HTTP/1.1" 200 31909 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm) "www.west025.com  text/html "/usr/home/shijietools/htdocs/index.html"

分析：
A.123.125.66.104 这个是来源IP地址

B.[23/Sep/2009:08:40:07 +0800] 这个是访问的时间

C.GET / HTTP/1.1 get    表示请求，学过网站变成都应该知道，这种请求一般有两种：一是GET，就是平常我们打开一个URL访问的动作，二是POST，提交表单时的动作；  http/1.1  表示http协议的版本

D.200 31909  这里的200是正常返回，以下列出几种常见的返回代码以及所表示的含义

200 – 成功。 此状态代码表示 IIS 已成功处理请求。
304 – 未修改。 客户端请求的文档已在其缓存中，文档自缓存以来尚未被修改过。客户端使用文档的缓存副本，而不从服务器下载文档。
403 – 403表示没有权限，网站没有默认页会显示这个错误
404 – 未找到。 发生此错误的原因是您试图访问的文件已被移走或删除。
500 – 内部服务器错误。 很多服务器端的错误都可能导致该错误信息。
502 – 网关错误。 如果试图运行的 CGI 脚本不返回有效的 HTTP 标头集，将出现此错误信息。

E.Baiduspider+(+http://www.baidu.com/search/spider.htm)这个就是百度的蛛蛛了，新站如果看到这串，是不是很兴奋？

F."www.west025.com text/html"  前面的网址就是我们的网站域名 TEXT/HTML是文档类型

G:"/usr/home/shijietools/htdocs/index.html"这个就文件的绝对路径了

如果看懂了这些日志，那我们就知道网站优化的一些问题可以解决了，新手文章，希望多多批评和指教

附所有返回代码

200——交易成功
201——提示知道新文件的URL
202——接受和处理、但处理未完成
203——返回信息不确定或不完整
204——请求收到，但返回信息为空
205——服务器完成了请求，用户代理必须复位当前已经浏览过的文件
206——服务器已经完成了部分用户的GET请求

300——请求的资源可在多处得到
301——删除请求数据
302——在其他地址发现了请求数据
303——建议客户访问其他URL或访问方式
304——客户端已经执行了GET，但文件未变化
305——请求的资源必须从服务器指定的地址得到
306——前一版本HTTP中使用的代码，现行版本中不再使用
307——申明请求的资源临时性删除

400——错误请求，如语法错误
401——请求授权失败
402——保留有效ChargeTo头响应
403——请求不允许
404——没有发现文件、查询或URl
405——用户在Request-Line字段定义的方法不允许
406——根据用户发送的Accept拖，请求资源不可访问
407——类似401，用户必须首先在代理服务器上得到授权
408——客户端没有在用户指定的饿时间内完成请求
409——对当前资源状态，请求不能完成
410——服务器上不再有此资源且无进一步的参考地址
411——服务器拒绝用户定义的Content-Length属性请求
412——一个或多个请求头字段在当前请求中错误
413——请求的资源大于服务器允许的大小
414——请求的资源URL长于服务器允许的长度
415——请求资源不支持请求项目格式
416——请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段
417——服务器不满足请求Expect头字段指定的期望值，如果是代理服务器，可能是下一级服务器不能满足请求

500——服务器产生内部错误
501——服务器不支持请求的函数
502——服务器暂时不可用，有时是为了防止发生系统过载
503——服务器过载或暂停维修
504——关口过载，服务器使用另一个关口或服务来响应用户，等待时间设定值较长
505——服务器不支持或拒绝支请求头中指定的HTTP版本