MapReduce原理及编程小结
什么是MapReduceMapReduce是一个分布式计算框架它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务起源于Google适用于大规模数据处理场景每个job包含Map和Reduce两部分MapReduce设计思想分而治之简化并行计算的编程模型构建抽象模型:Map和Reduce开发人员专注与实现Mapper和Reducer函数隐藏系统层细节MapReduce特点优点易于编程、可拓展性、高容错性、高吞吐量不适用领域难以实时计算、不适合流式计算使用MapRedu