分布式应用日志集中收集

        最近一段时间，配合新的商业模式，E网打进产品进行系统重构，由于客户量比较大，那么对应的数据量比较大，涉及的系统架构很复杂，对应的服务器也成倍的增加。服务器日志的收集和查看也变的比较麻烦，于是就在想是否可以把各个应用日志统一收集过来。

        现在的做法：每天凌晨30分左右启动一个任务，把日志从各个服务器统一收集过来，然后通过导入分析程序对日志进行处理，并把结果数据输入到数据库中。这样的做法在可以支持几台到十几台规模的并发服务。但当管理的服务器达到几十台，而且有大量的服务器中间会有上线/下线变更的时候，集中的日志定期同步 更显得非常难于管理，而日志的同步由于要避开白天的高峰，往往需要用凌晨的低峰时段进行同步，24小时下来，上G的日志同步也是风险很高的操作。而成为瓶 颈的日志排序合并操作也会妨碍其他后续计算的周期。

        如果能实现应用日志的集中收集，那么对个应用日志的压缩、打包、收集就无须任务了，对于应用服务器的变更也没有影响。前段时间看了Log4j的功能，可以通过Log4j进行扩展达到我们日志收集的目的，系统结构图如下：

        原理：

              现在大部分的系统都采用log4j来记录应用日志，那么我们使用log4j收集日志，然后写入到指定的日志收集服务器上，数据通过 UDP 进行传输。服务端收到这些数据后，先放入到对应的队列中，都个线程同步去处理这些日志。

      Log4j自定义：

             Log4j支持appender扩展，我们只需定义我们自己的appender，当然这个appender需要考虑应用日志大数据量的因素，可批量上传日志的方式。

      日志收集服务端：

             日志收集服务端启动侦听线程，侦听某个端口（比如：8080），发现有日志数据过来后，立马读入这个数据并放入到相应的队列中。

     其他功能：

             根据日志的情况可做统计分析，可做报警等等，这个就看详细的应用场景。

最后

以上就是凶狠黑裤为你收集整理的分布式应用日志集中收集的全部内容，希望文章能够帮你解决分布式应用日志集中收集所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。