win7下使用myeclipse连接hadoop2.6.0集群并运行wordCount的实例教程

zhaorong · 发表于 2018-6-5 14:43:18

1：设置eclipse

选择"Window"菜单下的"Preference"，"HadoopMap/Reduce"选项，选择Hadoop的安装
目录(即hadoop在win7下的安装或者叫解压目录)，如：D:\programes\hadoop-2.6.0

2：切换"Map/Reduce"工作视图，java开发者都会的。

3：建立与Hadoop集群的连接，在Eclipse软件下面的"Map/Reduce Locations"进行右击，
弹出一个选项，选择"New Hadoop Location"，然后弹出一个窗体。

注意上面三个红框所示：

1) Map/Reduce(V2)Master

对应mapred-site.xml配置中的mapreduce.jobtracker.http.address的参数，如下：

mapreduce.jobtracker.http.address

master:50030

2)DFSMaster

对应core-site.xml配置中的：

fs.defaultFS

hdfs://master:9000

3) User name

如果hdfs-site.xml配置中的：

dfs.permissions

false

如上所示为false时，这个用户名随便设，否则就要改成在linux中搭建hadoop平台使用的linux帐号。

4) 临时目录

接着点击"Advanced parameters"从中找见"hadoop.tmp.dir"，修改成为我们Hadoop集群中设置的地址，
我们的Hadoop集群是"/opt/hadoop-2.6.0/tmp"，这个参数在"core-site.xml"进行了配置。

2：查看HDFS文件系统，并尝试建立文件夹和上传文件。点击Eclipse软件左侧的"DFS Locations"
下面的"myHadoop"，就会展示出HDFS上的文件结构。

1) user目录是可以在上面的Advanced parameters设置的，这个默认就是user。

2)可以在这里浏览hdfs上的文件，如同在linux下查看hdfs文件系统一样，同样，这里也可以上传与删除。

3)在hadoop目录下新建input目录，这个动作熟悉否?可还记得搭建hadoop平台完毕后，
测试wordcount样例中有这个步骤?

		自动登录	找回密码
密码			注册

[linux教程] win7下使用myeclipse连接hadoop2.6.0集群并运行wordCount的实例教程

浏览过的版块