本地上传文件到hdfs

本地上传文件到hdfs

1. 使用javaApi上传文件

本地上传文件到hdfs
使用javaApi上传文件
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class PutHdfsFile {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
//本地文件
String localDir = "D:/11.txt";
//hdfs目标目录
String hdfsDir = "hdfs://cluster/test";
try {
Path localPath = new Path(localDir);
Path hdfsPath = new Path(hdfsDir);
FileSystem hdfs = FileSystem.get(conf);
if (!hdfs.exists(hdfsPath)) {
hdfs.mkdirs(hdfsPath);
System.out.println("hdfs目录创建");
}
System.out.println("本地文件开始上传....");
long start = System.currentTimeMillis();
hdfs.copyFromLocalFile(localPath, hdfsPath);
System.out.println("本地文件已上传成功,耗时：" + (System.currentTimeMillis() - start));
} catch (Exception e) {
e.printStackTrace();
System.out.println(e.getMessage());
}
}
}
1.将core-site.xml,hdfs-site.xml放到resources目录下
2.更改本地文件目录即可上传。

使用远程工具上传文件到hdfs

https://blog.csdn.net/thethefighter/article/details/106864009

最后

以上就是独特指甲油为你收集整理的本地上传文件到hdfs的全部内容，希望文章能够帮你解决本地上传文件到hdfs所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。