多线程、分布式任务如何向HDFS加载数据

80 阅读 0 评论 53 点赞

我是靠谱客的博主单纯黑米，最近开发中收集的这篇文章主要介绍多线程、分布式任务如何向HDFS加载数据，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

大数据计算时，多线程与分布式的并行能够很好的加速数据的处理速度。而在大数据存储时，分布式的文件存储系统对并发的写请求支持存在天然的缺陷。这是一对天然的矛盾，暂时无法解决，只能缓和。

要想缓和，可通过加层的方法实现。大数据计算与大数据存储对中间层的要求主要有两点：第一，支持并发访问，以此弥补分布式存储层的不足；第二，支持缓存，起到缓冲池作用，并支持按照一定调度策略实现对缓冲的访问。一般的关系型数据库（如mysql）可以很好的支持并发访问，也存在各种API支持对特定的调度策略的定制化实现。其次是消息队列，消息队列也能满足并发的请求与缓存数据，不过调度一般为队列（FIFO）调度。

个人感觉，一般利用消息队列就可以了满足大多数需求了，而且简单快速，能较好的满足线程内消息的有序性（这点非常重要）。当然，存在特殊规则的调度，还是要具体问题具体分析。至于解决矛盾嘛，还是寄希望于后来者。