Apache日志采集分析

Apache(httpd) 服务也是现代 web 服务栈中重要的组件之一，本文介绍通过 logkit Pro 来收集 apache 的 access.log。

下载并运行 logkit Pro

1、根据您机器的操作系统版本下载 logkit Pro，logkit Pro 下载地址请阅读logkit 安装。

2、解压后您可以看到：

4、命令行进入 logkit Pro 所在文件夹，输入如下命令启动 logkit Pro：./logkit-pro -f logkit-pro.conf通过浏览器访问 logkit Pro:

6、本地登录的默认用户名和密码都是 admin。

使用 logkit Pro 收集日志

1、进入数据收集页面，点击添加收集器开始配置收集器。

3、数据解析配置好数据来源以后，就开始配置数据解析方式，我们使用 grok 表达式解析 Apache 日志，logkit Pro 提供了一些默认表达式的支持，其中%{COMMON_LOG_FORMAT}就可以解析 Apache 日志。对于 grok 表达式，玩过 ELK 的用户不会陌生，我们完全支持 logstash 的 grok 表达式，对于自己配置的一些特殊 Apache 日志，可以访问我们的 wiki 页面了解进阶用法: 学习如何调试您的 grok 表达式如何调试您的grok-patterngrokdebug用法.配置好后，点击解析样例数据，查看解析是否成功。

5、时间字段转换选择需要进行转换的时间字段，点击解析即可一键查看解析结果，非常方便快捷。

6、注意:每个数据转换都需要点击添加才能生效哦！

7、数据发送将数据发送至智能日志分析平台，输入工作流名称，日志分析仓库名称可不填，默认使用数据仓库名称，点击下一步。

9、分发收集器进入数据收集页面，找到刚刚添加的收集器，将收集器分发到机器。

10、点击查看收集器可以查看收集器运行信息，读取条数、解析条数、错误日志等。

配置报表

1、在日志搜索页面，切换到可视化tab，开始配置报表。1.统计请求总数：统计全部请求总数：选择图表类型为单值图，选择指标为计数。

3、图上的小字号的数字意义为相比上一个时间点请求数量增加了 9373。您也可以在图表样式设置里开启时序折线图，方便您直观地了解请求数量的变化趋势。

5、统计返回码分布情况：选择图表类型为饼图，选择指标为计数，分组字段为 resp_code。

7、或者通过图例取消全选，再点击图例以显示。根据需要选择合适的操作方式。

9、IP 分布情况：选择图表类型为饼图，指标为计数，分组字段为 client_ip。

11、统计不同国家的请求总数，选择图表类型为世界地图，指标为计数，分组字段为 country。

13、随时间变化的请求数量统计：选择图表类型为区域图，指标为计数，分组字段为 ts。

15、统计每分钟入口流量：选择图表类型为区域图，指标为对 resp_bytes 字段求和，分组字段为 ts,按照 10m 聚合。