linux下eclipse上运行hadoop自带wordcount程序

 Eclipse 开发Hadoop

    下载hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

    注意不要用hadoop-0.20.2下自带的eclise插件，那个是坑爹的。否则会导致run on Hadoop 无反应。这个插件的版本是配合eclipse3.5的。下载后将其重命名为hadoop-0.20.2-eclipse-plugin.jar，并放入到eclipse插件目录中。

    启动eclipse：打开windows->open perspective->other->map/reduce 可以看到map/reduce开发视图。设置Hadoop location.

    打开windows->show view->other-> map/reduce Locations视图，在点击大象后【new Hadoop location】弹出的对话框（General tab）进行参数的添加：

    Location name: 任意

    map/reduce master： 与mapred-site.xml里面mapred.job.tracker设置一致。

    DFS master：与core-site.xml里fs.default.name设置一致。

    User name: 服务器上运行hadoop服务的用户名。

    这些已经足够用。当然，如果你需要特殊设置，那么打开Advanced parameters设置面板，查看当前的选项以及修改其值.

    创建Map/Reduce Project。运行最简单的WordCount程序。

    点击Run on hadoop, 运行程序。你可以看到在output文件夹中出现文本段

    运行时可能会出现内存溢出的异常：

原因是客户端程序运行时java虚拟机内存分配不够，修改run configuration（run as >run configurations），选择Arguments选项卡，在VM arguments栏中加入-Xmx1024m，保存后执行没有问题（即将执行时虚拟机内存调大）

最后

以上就是无情短靴为你收集整理的linux下eclipse上运行hadoop自带wordcount程序的全部内容，希望文章能够帮你解决linux下eclipse上运行hadoop自带wordcount程序所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。