事实上,我们做seo网站优化一般是一个无所不知的立场,因为有太多的因素影响排名,如我们今天要谈论的话题。如果我们不能分析蜘蛛的爬行轨迹,那么如果在优化过程中出现了问题,很有可能在不知道的情况下思维是错误的。
IIS日志的目的是观察蜘蛛从搜索引擎到我们网站的爬行情况,并更紧密地分析和联系蜘蛛。爬行时间、爬行时间点、爬行高峰期、爬行HTTP状态码,给我们带来了清晰的分析便利。
首先,主要搜索引擎的蜘蛛名称:
百度爬虫名称
谷歌爬虫名称
雅虎爬虫名称
有一个蜘蛛的名字
搜狗的蜘蛛名称
MSN的蜘蛛名称:msnbot
二、IIS分析:
案例日志:61 . 135 . 168 . 22-[11/Jan/2009:04:02336045 0800]“get/thread-7303-1-1 . html http/1.1 ' 2008450 '-”Bai
分析:
1.61.135.168.22访问了服务器IP是这个的网站。
2.2009年1月11日:04336002:45表示蜘蛛爬行时间
3.GET/thread-7303-1-1.htmlHTTP,这意味着蜘蛛抓取了这个页面。
4.状态码200表示蜘蛛成功抓取页面;404表示蜘蛛未能抓取页面。
5.8450表示这次捕获了8450字节
6.百度蜘蛛表示百度蜘蛛的名字
三。基本状态代码:
200:请求已完成,蜘蛛正常访问页面
301:移动,永久重定向
302:临时重定向
爬行后,蜘蛛发现页面没有被修改
305:使用代理
400:请求错误
404:未找到页面
Iv .IIS详细状态代码的含义:
100-表示部分请求已被接收,其余部分正在发送。
101-移交协议。
2XX-成功的服务器成功接受了客户端请求。
200-好的。客户端请求成功。
201-创建。
202-接受。
203-非权威信息。
204-没有内容。
205-重置内容。
206-部分内容。
300-服务器可以响应于接收到的请求执行各种操作。
301-永久移动传输,请求的内容已永久移动到另一个新位置。
302-临时移动传输,请求的内容已被临时移动到新位置
304-未修改。自上次请求后,请求的内容未被修改。
307-临时重定向。服务器当前响应来自不同位置的请求,但是请求者应该继续使用原始位置来处理将来的请求。
400-错误请求。
401-访问被拒绝。IIS定义了许多不同的401错误,这表明了更具体的错误原因。这些特定的错误代码显示在浏览器中,但不显示在IIS日志中:
401.1-登录失败。
401.2-由于服务器配置,登录失败。
401.3-由于ACL对资源的限制,未经授权。
401.4-过滤器授权失败。
401.5-ISAPI/CGI应用程序授权失败。
401.7-网络服务器上的网址授权策略拒绝访问。此错误代码特定于IIS6.0。
403-禁止访问:IIS定义了许多不同的403错误,这表明了更具体的错误原因:
403.1-禁止执行访问。
403.2-禁止读取访问。
403.3-禁止写访问。
403.4-需要SSL。
需要403.5- SSL128。
403.6-拒绝的IP地址。
403.7-需要客户证书。
403.8-网站访问被拒绝。
403.9-用户太多。
403.10-无效配置。
403.11-密码更改。
403.12-对映射表的访问被拒绝。
403.13-客户证书被吊销。
403.14-拒绝目录列表。
403.15-超出客户端访问许可证。
403.16-客户端证书不可信或无效。
403.17-客户证书已过期或尚未生效。
403.18-请求的网址无法在当前应用程序池中执行。此错误代码特定于IIS6.0。
403.19-无法为此应用程序池中的客户端执行CGI。此错误代码特定于IIS6.0。
403.20-护照登录失败。此错误代码特定于IIS6.0。
404-未找到请求的内容。
404.0-找不到文件或目录。
404.1-无法在请求的端口上访问网站。
404.2-网络服务扩展锁定策略阻止此请求。
404.3-MIME映射策略阻止此请求。
405-不允许使用用于访问此页面的超文本传输协议动词
406-客户端浏览器不接受所请求页面的MIME类型。
407-需要代理身份验证。
412-先决条件失败。
413-请求的实体太大。
URI的请求太长了。
415-不支持的媒体类型。
416-无法满足请求的范围。
417-执行失败。
423-锁定错误。
500-服务器内部错误。
500.12-应用程序正忙于在网络服务器上重新启动。
500.13-网络服务器太忙。
500.15-不允许直接向Global.asa请求。
500.16-UNC授权凭证不正确。此错误代码特定于IIS6.0。
500.18-无法打开网址授权存储。此错误代码特定于IIS6.0。
500.100-内部ASP错误。
501-服务器无法完成请求的功能。
502-当充当网关或代理服务器时,服务器收到无效响应。
502.1-CGI应用程序超时。
502.2-CGI应用程序错误。
503-服务不可用。此错误代码特定于IIS6.0。
504-网关超时。
不支持505-超文本传输协议版本。