欢迎光临
我们一直在努力

搭建hadoop-2.6.0-cdh5.4.7伪分布式

首先说一下配置吧:

OS:Centos6.6,1核1G内存(有些吃力)

JDK:1.7_79

已经关闭防火墙,selinux!

那么废话不多说直接开始了,首先下载hadoop-2.6.0-cdh5.4.7.tar.gz

地址:http://archive.cloudera.com/cdh5/cdh/5/自己找哈!我下载的是最新的。

下载完成后,解压

刷屏完毕后,进入 hadoop-2.6.0-cdh5.4.7/etc/hadoop目录开始配置。

首先请确定是否已经成功配置JDK环境变量,JDK没问题后编辑hadoop-env.sh

修改如下配置:

JAVA_HOME请修改成自己的。:wp保存并退出。

然后编辑core-site.xml。

添加如下配置:

node2说明,如果没有配置hosts,请将node2换成IP地址:wp保存并退出。

然后编辑hdfs-site.xml 。

添加如下配置:

以上配置完成后,请按照配置内容创建文件夹:

然后复制mapred-site.xml.template 并且更名为mapred-site.xml:

并且加入一下配置:

编辑yarn-site.xml

加入以下配置:

到此位置,Hadoop-2.6.0-cdh5.4.7的配置已经结束,请检查配置文件是否合格,合格的话进入下面的步骤:

首先,格式化HDFS:

看到如下信息:

如果不报错,证明格式化成功。

然后分别启动HDFS和Yarn:

启动过程也会输出一下日志,如果没发现错误,请输入命令jps查看所有的节点是否都已经成功启动,成功启动的进程为:

OK,打开地址http://192.168.1.3:8088/cluster查看yarn,http://192.168.1.3:50070/dfshealth.html#tab-overview,查看HDFS(datenode)状态,到此为止,hadoop-2.6.0-cdh5.4.7伪分布式已经搭建成功,大家可以运行自带的例子(wordcount)来测试mapreduce!过几天再把HBASE的伪分布式分享给大家!

未经允许不得转载:李阳博客 » 搭建hadoop-2.6.0-cdh5.4.7伪分布式

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址