Hadoop(一)Hadoop环境搭建

大数据学习起步之分布式存储 HDFS

Posted by Oumuv on December 18, 2018

环境要求

  • JDK8
  • Hadoop2.6

步骤

一、下载

点击 Hadoop下载

二、安装Hadoop

安装Hadoop之前先确保JDK已经安装好

新建一个名为hadoop的目录将安装包解压到该目录下

mkdir hadoop
tar -zxvf hadoop-2.6.5.tar.gz

三、配置环境变量

编辑/etc/profile,加入如下配置:

1
2
export HADOOP_HOME=/root/hadoop/hadoop-2.6.5   
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新一下

source /etc/profile

输入hadoop version测试是否生效:
在这里插入图片描述

四、配置文件

  • 配置 /hadoop-2.6.5/etc/hadoop/core-site.xml ```
fs.defaultFS hdfs://centos:9000 hadoop.tmp.dir /hadoop/hadoopData
1
* 配置/hadoop-2.6.5/etc/hadoop/hdfs-site.xml
dfs.replication 1

```

五、启动、测试

启动hdfs步骤:

  • 启动之前需要先格式化hdfs(这一步操作一般是用于第一次启动hdfs时候初始化,只需操作一次以后都不用在操作)

    hadoop namenode -format

在这里插入图片描述

  • 启动hdfs

    start-dfs.sh

在这里插入图片描述 这一条命令执行后将会要求输入3次密码,分别启动一个SecondaryNameNode、NameNode、DataNode

  • 使用浏览器访问 http://localhost:50070/ 将会看见如下界面
    在这里插入图片描述

  • stop-dfs.sh停止hdfs

    stop-dfs.sh

    搭建完成