Eclipse下运行hadoop自带的mapreduce程序--wordcount

参考：

1  http://phz50.iteye.com/blog/932373

2 http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html

1、下载hadoop-0.20.2

2、下载eclipse3.3

3、配置hadoop-0.20.2伪分布式模式

 (1)在hadoop-env.sh最后添加：export JAVA_HOME=/usr/local/jdk1.6

(2)hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
<!--
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
-->
</configuration>

(3)core-site.xml

<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

(4)mapred-site.xml 

<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
</property>
</configuration>

4、将hadoop-0.20.2自带的eclipse插件拷贝到eclipse/plugins目录下。

cp  hadoop-0.20.2/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar   eclipse/plugins

5、打开eclipse窗口

需要注意的问题是，hadoop可能是以root权限安装的，运行eclipse的时候可能是普通权限，这会导致eclipse运行hadoop程序的时候，不能访问hdfs文件系统。解决方法有二：

1）放开该目录（/user/root)的权限： bin/hadoop fs -chmod 777 /user/root 

2)修改hadoop配置文件：conf/hdfs-core.xml

<property>

<name>dfs.permissions</name>

<value>false</value>

<description>

if"true",enable permission checking in HDFS.if"false",permission checking is turned off,but all other behavior is unchanged.Switching from one parameter value to the other does not change the mode,owner or group of files or directories .

</description>

</property>

修改完，重启hadoop生效。

3、eclipse设置main的参数时，目录写完整

4、先在终端，bin/start-all.sh,再在eclipse里面run as hadoop

最后

以上就是清脆饼干为你收集整理的Eclipse下运行hadoop自带的mapreduce程序--wordcount的全部内容，希望文章能够帮你解决Eclipse下运行hadoop自带的mapreduce程序--wordcount所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。