如何科学有效的分析网站日志

通过网站日志，我们可以获知百度蜘蛛的一些行踪。从而有的放矢的来调整与优化网站。让蜘蛛更好的遍历我们的站点。那么，我们如何解读网站日志呢?

首先，对于普通企业站点而言，可以简单借助《光年SEO日志分析系统》，门户大站系列建议根据需求可以开发自己的日志分析系统。

其次，下载网站日志，借助光年软件分析网站日志。分析完毕后会输出一份结果。

最后，一起来学习下光年分析结果涉及到的一些知识：

概要分析：

(1)总抓取量：这里是指在某段时间内蜘蛛多次访问共抓取的网页总量

(2)访问次数：这里是指某段时间某个蜘蛛访问你网站的次数

(3)总停留时间：这里是指你所提交的某段时间的网站日志中某种蜘蛛的停留时间

通过这三者可以了解到以下2个数据(与网站性能有关)：

(1)平均抓取页面数=总抓取量/访问次数(通过对比值，可以反应出网站是否有异常)

(2)每次抓取耗时=总停留时间/总抓取量(通过这个可以了解到网站服务器速度问题)

目录抓取

通过目录抓取可了解蜘蛛抓取分布情况，可根据这个数据反馈，综合调整。

页面抓取

通过页面抓取可以了解到哪些页面是蜘蛛重复抓取的，对于一些不重要页面又被蜘蛛重复抓取的话，可以针对性的来调整处理。

梳理完了以上的知识后，我们如何通过这些数据，做一些有效的决策呢?

首先，你得长期观察这些数据，通过对比，才能发现问题

如某位行业大牛每天会观察的一组数据：

某频道爬虫每日抓取量

某频道爬虫每日不重复抓取量

某频道爬虫单页下载时间

某频道网页响应速度

某频道每日爬虫到访次数

某频道Top目录

某频道收录比例抽查

某频道响应代码统计

其次，通过抓取量的表现，找出影响收录量的原因所在。

最后，进行调整优化，做好数据监控。