一、环境配置
1、Eclipse 版本 3.3.X
2、Hadoop版本 0.20.2
二、配置流程
1、将\hadoop-0.20.2\hadoop-0.20.2\contrib\eclipse-plugin\下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32\eclipse\plugins\下。
2、启动eclipse,点击Window->Show View->Other,点击MapReudce Tools->Map/Reduce Locations,如图(我已创建一个):
3、点击蓝色的大象,出现下图,配置:
Host是Master的IP地址、9001是mapred.job.tracker端口、9000是fs.default.name的端口
4、到这里配置完成了。值得说明的是,JDK需要采用1.6,否则会报如下错误信息。
Unsupported major.minor version 50.0
Unsupported major.minor version 49.0
Unsupported major.minor version 48.0
二、如何使用
1、查看文件系统。点击eclipse右上角的蓝色大象图标,然后在左边Project Explorer会出现DFS Locations的链接,打开就能看到HDFS的文档结构。
2、运行Job,运行的时候采用Run on hadoop。这里需要注意3点,
A、记得配置输入输出参数。
B、记得在main函数中添加conf.set("hadoop.job.ugi", "root,hadoop"); root是用户名,hadoop是密码。
C、工程需要加载hadoop下lib里的所有包以及hadoop目录下的包,当然不是全部都需要,我觉得麻烦,所以全部加上了。
四、总结
1、插件用起来还是比较方便的,建议开发调试的时候使用。
2、通过插件对HDFS进行文件目录的增删操作就我这个配置还不行,网上有文档说可以配置,但是我没实现。
3、运行Job的时候确实需要注意输入和输出以及一些jar包的加载。
4、执行的时候会出一些警告,不影响,说是系统中存在一些老的配置文件而已。
5、写的不对或是有疑问的地方可以发邮件沟通。dajuezhao@gmail.com
分享到:
相关推荐
Hadoop在eclipse上面安装插件,以及对Hadoop jar包和hadoop-common jar包的安装,环境变量的配置
eclipse中配置hadoop插件
myeclipse或eclipse配置hadoop2.6的插件 包括hadoop-eclipse-plugin-2.6.0.jar winutils.exe hadoop.dll三个文件
eclipse的hadoop插件,可以在eclipse中直接操作hdfs,比较方便,需要在hdfs-site.xml中设置dfs.permissions.enabled为false,来关闭hdfs的权限验证,将jar放在eclipse软件的dropins文件夹中,重启即可,对于hadoop2.x或...
用来配置myeclipse或eclipse对应的hadoop 插件,方便开发
Hadoop-Eclipse plugin是大数据从业人员在开发大数据应用时...在Eclipse下安装hadoop-eclipse-plugin(插件jar包已提供)。复制此插件jar包到eclipse安装目录/plugins/ 下。可通过whereis eclipse查看eclipse安装目录。
hadoop-2.8.0 版本的eclipse插件
NULL 博文链接:https://xq0804200134.iteye.com/blog/1814196
1. 资源包括了eclipse Oxygen版本的hadoop插件,包括winutils 2. 文档详细介绍了windows 下的hadoop版本的配置 3. 实例程序可以跑通,有详细截图
1.覆盖HADOOP_HOME\bin目录 2.再次将hadoop.dll复制到C:\Windows\System32即可 ...在ECLIPSE的RUN里配置HADOOP_HOME RUN AS->RUN CONFIGURATIONS->ENVIRONMENT->ADD 主要就是前两步,其它情况暂时没遇到,亲测跑通
eclipse hadoop插件,通过eclipse即可轻松控制hadoop配置信息
Eclipse开发Hadoop相关项目本地配置插件,本地Eclipse相关配置插件和本地电脑部署Hadoop的相关插件
包含几个源编译中漏掉的包,servlet-api,commons-io,更新了htrace-core-3.1.0-incubating.jar
自己整理生成了一套基于HADOOP2.8.2的插件,经测试可用,应该是全网第一个基于HADOOP2.8.2的ECLIPSE插件,我使用的环境JDK1.7 64位,MYECLIPSE2014 或 ECLIPSE4.4 下载包中有配置好的截图照片。
hadoop伪集群搭建及eclipse插件配置,主要介绍伪集群下配置文件的配置及eclipse插件配置。
eclipse3.6+hadoop-0.21.0插件配置使用
使用Eclipse软件连接Hadoop的java-api时,配置的hadoop-eclipse的插件
Hadoop Eclipse是Hadoop开发环境的插件,在安装该插件之前需要首先配置Hadoop的相关信息。用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行...
这是linux下的eclipse的hadoop插件,很方便,编译好的,不需要再去编译,直接放到plungins文件夹下,稍加配置即可跑起来。