爬虫日志分析
大多数Google Analytics用户都知道，GA是通过Javascript标记来进行流量监控，是无法跟踪到搜索引擎爬虫记录的。唯一能够跟踪和分析爬虫的状况的是 分析Web日志。有两个法国朋友发现了一个解决办法，可以在Google Analytics里监控到爬虫动态，爬虫什么时候访问了网站、爬行了什么网页等等。
以上摘
之前一直希望统计功能具有分析爬虫的功能，结果没有，现在想想也是，js没办法分析agent
今天在nginx上使用grep查看了一下爬虫的信息，google爬的勤，baidu爬虫已经来光顾了，但是每次只是访问一下，看看我的网站有没有反应，我当然给了个200了，呵呵，现在baidu还没有收录，我在观察，
posted on
2010-09-05 17:40
lexus 阅读(
...) 评论(
...)
编辑
收藏
转载于:https://www.cnblogs.com/lexus/archive/2010/09/05/1818518.html
最后
以上就是大气白猫最近收集整理的关于爬虫日志分析的全部内容，更多相关爬虫日志分析内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复