flume采集oracle日志,flume收集日志直接sink到oracle数据库

因为项目需求，需要保存项目日志。项目的并发量不大，所以这里直接通过flume保存到oracle

源码地址： https://github.com/jaxlove/fks/tree/master/src/main/java/com

日志系统设置：

url：以select、save、update、remove开头。

通过filter记录请求功的url。格式为json格式，字段包括channel(来源渠道web、wap、app等)、operate_type(操作类型)、first_model(菜单第一模块)、second_model(菜单第二模块)、data(url传递的参数)、ip(请求者ip)、account_id(用户账号id)、time(时间，有系统自动生成)，url(请求的url地址)、remark(自定义备注)

表结构相同。

flume配置：

由于flume没有直接sink到oracle的jar包，这里自己自定义sink，偷懒，直接通过mybatis保存到数据库。。。

flume在conf里配置设置

a1.sinks.k1.type = com.myflume.OracleSink

a1.sinks.k1.jdbc_url = jdbc:oracle:thin:@ip:port:实例名

a1.sinks.k1.jdbc_username = username

a1.sinks.k1.jdbc_password = password

#设置多少跳数据提交一次。数据量大，数据精度要求不高可以设置高一点

a1.sinks.k1.jdbc_batchsize = 5

#需要保存的表名

a1.