AWStats: 跨平台的日志分析工具
    ——在GNU/Linux和Windows平台上的使用简介

作者: 车东 Email: chedongATbigfoot.com/chedongATchedong.com

写于:2003/04 最后更新:

版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明
http://www.chedong.com/tech/awstats.html

关键词:awstats web log analysis apache iis 日志 分析 open source

内容摘要:AWStats的使用简介和配置一些改进说明。


日志统计系统在站点的用户行为分析中扮演了重要的角色,尤其是对于来自搜索引擎的关键词访问统计:是很有效的用户行为分析数据来源。随着互联网多年的发展,WEB日志统计工具已经越来越成熟,功能也越来越丰富。其中有很多是开放源代码的,AWStats就是其中非常优秀的一款。

AWStats: Advanced Web Statistics

AWStats是最近发展很快的一个基于Perl的WEB日志分析工具。相对于另外一个非常优秀的开放源代码的日志分析工具Webalizer,AWStats的优势在于:

  1. 界面友好:可以根据浏览器直接调用相应语言界面(有简体中文版)
    参考输出样例:http://awstats.sourceforge.net/cgi-bin/awstats.pl
  2. 基于Perl:并且很好的解决了跨平台问题,系统本身可以运行在GNU/Linux上或Windows上(安装了ActivePerl后);分析的日志直接支持Apache格式(combined)和IIS格式(需要修改)。Webalizer虽然也有Windows平台版,但目前已经缺乏维护;
    AWStats完全可以实现用一套系统完成对自身站点不同服务器:GNU/Linux/Apache和Windows/IIS服务器的统一统计。
  3. 效率比较高:AWStats输出统计项目比Webalizer丰富了很多,速度仍可以达到Webalizer的1/3左右,对于一个日访问量百万级的站点,这个速度都是足够的;
  4. 配置/定制方便:系统提供了足够灵活但缺省也很合理的配置规则,需要修改的缺省配置不超过3,4项就可以开始运行,而且修改和扩展的插件还是比较多的;
  5. AWStats的设计者是面向精确的"Human visits"设计的,因此很多搜索引擎的机器人访问都被过滤掉了,因此有可能比其他日志统计工具统计的数字要低,来自公司内部的访问也可以通过IP过滤设置过滤掉。
  6. 提供了很多扩展的参数统计功能:使用ExtraXXXX系列配置生成针对具体应用的参数分析会对产品分析非常有用。

更多与其他工具:Webalizer, analog的比较请参考:
http://awstats.sourceforge.net/#COMPARISON

AWStats安装备忘

AWStats的运行模式是这样的:

  1. 分析日志:运行后将这样的日志统计结果归档到一个AWStats的数据库(纯文本)里;
  2. 然后是输出:分两种形式
    1. 一种是通过cgi程序读取统计结果数据库输出;
    2. 一种是运行后台脚本将输出导出成静态文件;

以下是2个针对单个站点日志统计例子:
一个是在GNU/Linux上通过CGI方式的输出,
一个是在Windows 2000上的基于静态页面的导出

下载/安装

http://sourceforge.net/projects/awstats/ 下载安装包后:

GNU/Linux:tar zxf awstats-5.4.tgz
#部署awstats cgi程序到/path/to/apache/cgi-bin/awstats
mv awstats-5.4/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
#把图标icon目录复制到WEB发布目录下:/path/to/apache/htdocs/icon/

Windows 2000: 直接解包,然后移动到D:\AWStats目录下
把图标icon目录复制到IIS的发布目录下:inetpub/icon

数据源日志格式和按天的截断规则

  1. 对于Apache:日志格式好设置:设置成combined格式即可,日志截断麻烦一点:需要安装cronolog工具,将日志设置成按天截断:
    CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_%y%m%d.log" combined
    比如:logs/access_030327.log logs/access_030326.log
  2. 对于IIS:缺省有比较好的日志按天截断规则,但是IIS的日志格式比较不适合AWStats统计,
    因此最好直接去掉所有日志字段,然后严格按照以下列表设置
    相比IIS缺省设置:
    减少的有:
    • 服务器IP地址
    • 服务器端口
    • URI查询
    增加的有:
    • 发送字节数
    • 协议版本
    • 参照 

配置文件的命名规则:awstats.sitename.conf

AWStats的主程序awstats.pl会自动根据站点名调用相应站点的配置文件:awstats.sitename.conf
比如:运行./awstats.pl -config=chedong 调用的就是同目录下的 awstats.chedong.conf 配置文件;
如果没有指定-config,还会找当前目录下的awstats.conf或者/etc/awstats.conf作为缺省配置文件。
所以最好把缺省的awstats.model.conf 重命名成 awstats.yoursite.conf;比如:awstats.chedong.conf,

对于多个站点的统计,AWStats的配置文件包含功能还是非常有用的,我们可以把通用的配置放在一个文档中,然后用5.4开始支持的Include配置将通用配置包含在各个具体配置文件的头部,然后用其他配置覆盖通用配置中的相应属性,比如:
Include="chedong.common.conf"
LogFile="/path/to/bbs/access_log"
SiteName="bbs.chedong.com"

最少的配置文件修改:LogFile SiteDomain LogFormat

对于在GNU/Linux上统计Apache日志只需修改:LogFile SiteDomain这2个选项

  1. GNU/Linux LogFile="/path/to/apache/logs/access_%YY-24%MM-24%DD-24.log"
    Windows 2000 LogFile="d:\iis_logs\W3SV3\ex%YY-24%MM-24%DD-24.log"
    这个配置的意思是用24小时前的年份,月份,日期拼出的日志文件名;
  2. SiteDomain="www.chedong.com"
    站点的名称,缺省是空的,如果为空,AWStats将拒绝运行;
  3. 对于统计IIS日志需要多修改一个:
    LogFormat=2
    缺省值是1:Apache日志,2是IIS日志
其他需要注意的事项:
AWStats缺省不过滤swf文件,会把.swf算成PageView,所以如果站点上swf文件主要是广告的话最好还是要过滤掉:

日志分析

./awstats.pl -update -config=sitename
比如:./awstats.pl -update -config=chedong

统计输出

GNU/Linux    http://localhost/cgi-bin/awstats/awstats.pl?config=chedong
Windows 2000 http://localhost/awstats/awstats.chedong.html

日志统计自动运行

GNU/Linux上:crontab -e: 每天8点10分运行
#update awstats
10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl -update -config=chedong)

Windows 2000上:设置每天8点10分运行
D:\Perl\bin\perl.exe d:\AWStats\tools\awstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:\inetpub\awstats\ -awstatsprog=d:\awstats\wwwroot\cgi-bin\awstats.pl

多站点日志统计

AWStats自带了一个批处理工具:tools/awstats_updateall.pl,可以批量地遍历一个目录下所有地配置文件并运行统计。因此剩下的工作就主要是日志的同步问题了。

针对多个站点,很多配置选项是重复的,如果每个配置文件都修改维护起来会很麻烦,AWStats从5.4开始提供了配置文件包含的功能,所以我们可以配置一个通用配置,比如:chedong.common.conf

然后其他站点的配置设置为:可以通过后面的选项覆盖和缺省不一致的配置。
awstats.bbs.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/bbs_log"
SiteName "bbs.chedong.com"

awstats.www.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/www_log"
SiteName "www.chedong.com"
HostAliases="chedong.com" 

统计指标说明

Hacking AWStats

IIS按GMT时间的补丁:awstats.pl
IIS的日志时间是格林威治之间,中国本地时间和GMT有+8个小时差距,如果直接用TIMEZONE插件从格林威治时间转换会有40%的性能下降,这里有一个将时间按本地时间修改时间坐标的补丁:
7696d7695
<                       my $TIME_ZONE = 8;
7698,7702c7697
<                           my $ix_local = $ix + $TIME_ZONE;
<                           if ($ix_local >= 24) {
<                               $ix_local = $ix_local - 24;
<                         } 
<                         print "<TH width=19>$ix_local</TH>\n";        # width=19 instead of 18 to avoid a MacOS browser bug.
---
>                         print "<TH width=19>$ix</TH>\n";      # width=19 instead of 18 to avoid a MacOS browser bug.
7708,7712c7703
<                               my $ix_local = $ix + $TIME_ZONE;
<                               if ($ix_local >= 24) {
<                                       $ix_local = $ix_local - 24;
<                               }
<                               my $hr= $ix_local + 1 ; if ($hr>12) { $hr=$hr-12; }
---
>                               my $hr=($ix+1); if ($hr>12) { $hr=$hr-12; }

针对中文搜索引擎的补丁:
AWStats的搜索引擎中缺省没有中文搜索引擎的定义,因此会漏掉很多来自国内主流搜速引擎的统计:3721,搜狐,新浪,百度,网易等,以下是针对这些的补丁:cgi-bin/lib/search_engine.pm
58a59,60
> # Minor Chinese search engines
> "baidu\.", "163\.com", "sohu\.","sina\.","3721\.com",
140a143,148
> # Minor Chinese search engines
> "baidu\.","word=",
> "sina\.", "word=",
> "sohu\.","word=",
> "163\.com","q=",
> "3721\.com","name=",
228a237,238
> # Minor Chinese search engines
> "baidu\.","Baidu", "163\.com","NetEase","sina\.","Sina","sohu\.","Sohu","3721\.com","3721",

针对Google的Unicode查询补丁:
因为Google对于Windows 2000上的IE浏览器缺省发送的查询都是UTF-8格式的,而其他搜索引擎大部分使用的是系统本地编码:GB2312,因此需要将查询URI解码后,还要根据是否使用UTF-8进行到GB2312的转码,否则同样的单词会在统计中留有UTF-8和GB2312两条记录。
15,16c15,16
< use Encode;
< use URI::Escape;
---
>
>
5692,5694d5691
<                                         #UTF-8 encoding detection
<                                         my $UnicodeDetected = 0;
<                                         my $SearchQuery = "";
5696,5701d5692
<                                             # Google use: ie=utf-8
<                                             # AllTheWeb use: cs=utf-8
<                                                                                 if ($param eq "ie=utf-8" || $param eq "cs=utf-8") {
<                                                                                     $UnicodeDetected = 1;
<                                                                                 }
<                                                                                
5704d5694
<                                             $param = uri_unescape($param);
5708,5712c5698,5700
<                                             $param =~ s/^ +//;
<                                             $param =~ s/ +$//;
<                                             $param =~ tr/ /\+/s;
<                                             $param =~ s/\+/ /s;
<                                                             $SearchQuery = $param;                                           
---
>                                             $param =~ s/^ +//; $param =~ s/ +$//; $param =~ tr/ /\+/s;
>                                             if ((length $param) > 0) { $_keyphrases{$param}++; }
>                                             last;
5714,5719d5701
<                                        
<                                     }
<                                     #decoding unicode to GBK
<                                     if ( $UnicodeDetected ) {
<                                         $SearchQuery = decode("utf-8", $SearchQuery);
<                                         $SearchQuery = encode("euc-cn", $SearchQuery);
5721,5722d5702
<                                     print "$SearchQuery\n";   
<                                     if ((length $SearchQuery) > 0) { $_keyphrases{$SearchQuery}++; }

AWStats本身也包含了很多插件,包括将多个站点的统计再次汇总输出,IIS日志时间转换,URL的标题映射等;
http://awstats.sourceforge.net/awstats_contrib.html


参考资料:

AWStats:
http://awstats.sourceforge.net/

Webalizer:
http://www.webalizer.org/

日志分析工具:
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/

商业日志统计/分析工具
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/Commercial/

多站点的日志合并统计:
http://www.chedong.com/tech/rotate_merge_log.html

原文出处:<a href="http://www.chedong.com/tech/awstats.html">http://www.chedong.com/tech/awstats.html</a>
<<返回