本篇文章主要介绍了"Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop271经验总结",主要涉及到eclipse,ubuntu方面的内容,对于Javajrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播感兴趣的同学可以参考一下:
本文的目的:Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.7版本:Hadoop2.7.1hadoop安装模式:伪分布式本文主要解决的...
dfs.replication
1
dfs.namenode.name.dir
file:/usr/local/hadoop/tmp/dfs/name
dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data
dfs.webhdfs.enabled
true
dfs.permissions
false
打开conf/hdfs-site.xml,增加dfs.permissions的配置,取消hadoop hdfs的用户权限检查mapred-site.xml
mapreduce.framework.name
yarn
hadoop 2.7.1的mapreduce交给yarn管理
yarn-site.xml
yarn.resourcemanager.hostname
z10
yarn.nodemanager.aux-services
mapreduce_shuffle
更改hadoop集群master的hosts
root@z10:~# cat /etc/hosts
127.0.0.1 localhost z10
127.0.1.1 ubuntu
关闭防火墙(ubuntu)
1.关闭ubuntu的防火墙 ufw disable
2.卸载了iptables apt-get remove iptables
3. 查看防火墙状态 sudo ufw status
4.启用:
sudo ufw enable
sudo ufw default deny
启动集群
hadoop
namenode -format
{HADOOP_HOME}/sbin/start-all.sh
jps 查看是否启动成功
18850 DataNode
19362 NodeManager
19045 SecondaryNameNode
19708 Jps
19228 ResourceManager
18717 NameNode
创建hdfs input output文件夹
hadoop fs -mkdir /input
hadoop fs -mkdir /onput
可以跑一个wordcount的例子测试hadoop集群是否启动成功
hadoop fs -mkdir /input
hadoop fs -put README.txt /input
hadoop fs -ls /input
hadoop fs -cat /input/README.txt
hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output
hadoop fs -cat /output/part-r-00000
window7上:
关闭防火墙;
下载对应hadoop2.7.1版本的eclipse 插件 hadoop-eclipse-plugin-2.7.1.jar;
将hadoop-eclipse-plugin-2.7.1.jar拷贝到\eclipse\plugins目录下,重启eclipse;
在apache hadoop官网上下载对应hadoop2.7.1,解压置于E:\Hadoop\hadoop-2.7.1
,主要为eclipse上hadoop程序开发提供jar包;