Question

如何实现日志分析自动化

Answer 1

1.自动运行
shell脚本只需要把所有命令放到一个文本之中就可以了，windows和linux都是能够实现sh脚本的定时运行的(具体方法请自行搜索)
2.日志获取
2.1shell是可以登录ftp下载文件的，只需要将已下载的日志文件名存储到固定的文本之中，下载时比对已经存在的文件名，下载新的日志文件就行了。具体步骤就是 登陆ftp--->进入固定目录----->获取所有文件名----->对比出新文件名------>下载。
3.数据存储
把需要长期监控的数据放到csv文件中，每日一行，用excel打开或者另存为excel后可以很方便的生成图表。（当然也可以存数据库，推荐用csv，简单有效）
4.数据获取
比较简单的方法就是需要的每个数据写一条命令去获取，第一条数据直接存储（用>)，后面的追加(用>>)到同一个文本文件中，然后再把每天的数据，添加到固定的csv文件末尾 （awk '{printf $0}'  可以直接把竖排数据变横排)
5.周报问题（如果和日报需要的数据不同）
单独新建一个7天和30天固定运行一次的脚本，自动分析前七天和前30天的所有日志。从2中存储的已下载日志文件名的文本中，可以提取最后7天或者30天的日志文件名，然后进行分。析（和每日的日志分析相比，就是多了提取前7天的日志文件名，然后由cat 1变成了cat 1,2,3,4,5,6,7)
以上在个人的windows系统上也是比较容易实现的，以后每天就可以很方便收集网站的运行数据了。
补充：
Csv格式举例
在存储好数据之后，还可以用awk取数比对最后两天的变化比例，超过多少就执行xxxx方法，比如在桌面输出一个命名为“警告！dd号xxx数据波动”的文本文件