Hadoop跨集群迁移数据(整理版)1. 什么是DistCp2. Hadoop DistCp的api使用3. 测试用例4. 应用程序调用distcp接口总结
1.什么是DistCp DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法,这个工具在语义和执行上都会有特殊的地方。1.1DistCp使用的注意事项 1.DistCp会尝试...