ASP源码.NET源码PHP源码JSP源码JAVA源码DELPHI源码PB源码VC源码VB源码Android源码
当前位置:首页 >> 低调看直播体育app软件下载 >> Javajrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播 >> Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop271经验总结

Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop271经验总结(2/4)

来源:网络整理     时间:2016-05-16     关键词:eclipse,ubuntu

本篇文章主要介绍了"Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop271经验总结",主要涉及到eclipse,ubuntu方面的内容,对于Javajrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播感兴趣的同学可以参考一下: 本文的目的:Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.7版本:Hadoop2.7.1hadoop安装模式:伪分布式本文主要解决的...



dfs.replication
1


dfs.namenode.name.dir
file:/usr/local/hadoop/tmp/dfs/name


dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data


dfs.webhdfs.enabled
true


dfs.permissions
false  



打开conf/hdfs-site.xml,增加dfs.permissions的配置,取消hadoop hdfs的用户权限检查

mapred-site.xml



        mapreduce.framework.name
        yarn
    
 
hadoop 2.7.1的mapreduce交给yarn管理

yarn-site.xml



	
	  yarn.resourcemanager.hostname
	  z10 
	 
	 
	yarn.nodemanager.aux-services
	 mapreduce_shuffle 
	 
 
更改hadoop集群master的hosts
root@z10:~# cat /etc/hosts
127.0.0.1	localhost z10
127.0.1.1	ubuntu

关闭防火墙(ubuntu)

1.关闭ubuntu的防火墙 ufw disable
2.卸载了iptables  apt-get remove iptables
3. 查看防火墙状态 sudo ufw status
4.启用:
sudo ufw enable
sudo ufw default deny

启动集群

 hadoop namenode -format

{HADOOP_HOME}/sbin/start-all.sh

jps 查看是否启动成功

18850 DataNode
19362 NodeManager
19045 SecondaryNameNode
19708 Jps
19228 ResourceManager
18717 NameNode

创建hdfs input  output文件夹

hadoop fs -mkdir /input
hadoop fs -mkdir /onput

可以跑一个wordcount的例子测试hadoop集群是否启动成功

hadoop fs -mkdir /input
hadoop fs -put README.txt  /input
hadoop fs -ls /input
hadoop fs -cat /input/README.txt
hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output
hadoop fs -cat /output/part-r-00000

window7上:

关闭防火墙;

下载对应hadoop2.7.1版本的eclipse 插件 hadoop-eclipse-plugin-2.7.1.jar;

将hadoop-eclipse-plugin-2.7.1.jar拷贝到\eclipse\plugins目录下,重启eclipse

在apache hadoop官网上下载对应hadoop2.7.1,解压置于E:\Hadoop\hadoop-2.7.1 ,主要为eclipse上hadoop程序开发提供jar包;

相关图片

相关文章