一个日志实时处理方案
主要功能
*日志实时写入ES，实现实时查询
*日志实时写入HDFS，用于日志分析
*日志异常实时预警
使用的主要组件
rsyslog、flume、kafka、hive、zookeeper、storm、presto、sqoop
本案例也是第一次尝试，基本实现了自己需要的功能，中间可能有许多不是很合理的地方。
大致架构思路如下：
主要功能
*日志实时写入ES，实现实时查询
*日志实时写入HDFS，用于日志分析
*日志异常实时预警
使用的主要组件
rsyslog、flume、kafka、hive、zookeeper、storm、presto、sqoop
本案例也是第一次尝试，基本实现了自己需要的功能，中间可能有许多不是很合理的地方。
大致架构思路如下：