知性雪碧

文章
5
资源
1
加入时间
3年2月3天

Hadoop跨集群迁移数据(整理版)1. 什么是DistCp2. Hadoop DistCp的api使用3. 测试用例4. 应用程序调用distcp接口总结

1.什么是DistCp  DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法,这个工具在语义和执行上都会有特殊的地方。1.1DistCp使用的注意事项  1.DistCp会尝试...