Question

如何使用AWK|SORT等工具进行日志的统计

详细问题：

一份日志文件，标准格式：
114.249.18.55 i2.baidu.com - 30/Nov/2014:16:00:00 +0000 "GET http://i2.baidu.com/upload/goods/8975b9d81e7241ed8bc52728eba9ac3.jpg HTTP/1.1" 200 0.000 67937 363 0 - "-"
"-" TCP_HIT

目前要求：

统计这份日志文件中出现IP次数最多的IP 是哪个？并计算出出现了多少次

最好是由高到低排序如：
114.249.18.55 199 (次数)
112.23.22.12 198(次数)
。
。
。
依次类推！

Answer 1

BEGIN{
    pattern="\\<([0-9]{1,3}\\.){3}[0-9]{1,3}\\>"
    OFS="\t"
    }
{
    while(match($0,pattern))
    {
        ipadr=substr($0,RSTART,RLENGTH)
        ip[ipadr]+=1
        $0=substr($0,1,RSTART-1) substr($0,RSTART+RLENGTH)
    }
    }
END {
    for (addr in ip)
        print addr ,ip[addr]
}

将上面的代码保存为ip.awk,如日志文件名为ip.log,在终端中执行下面的命令

awk -f ip.awk ip.log | sort -k2 -n -r

即可输出结果