数据采集之Web端上传文件到Hadoop HDFS前言环境项目搭建首页上传后记
前言最近在公司接到一个任务,是关于数据采集方面的。 需求主要有3个:通过web端上传文件到HDFS;通过日志采集的方式导入到HDFS;将数据库DB的表数据导入到HDFS。正好最近都有在这方面做知识储备。正所谓养兵千日,用兵一时啊。学习到的东西只有应用到真实的环境中才有意义不是么。环境这里只做模拟环境,而不是真实的线上环境,所以也很简单,如果要使用的话还需要优化优化。OS Debian 8