Hadoop伪分布式的从零搭建教程

Hadoop伪分布式从0安装教程

作者：安炳旭

时间：2018 /12 /5

主机环境：MacBookPro

虚拟机：vmware fusion

虚拟机系统：ubuntu18.04

jdk版本：1.8

Hadoop版本：2.7.7

下载

Hadoop

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

jdk

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载好放在桌面


安装

配置ssh免密登录

• 作用：避免每次start-all.sh的时候都要输入密码

步骤

1. 打开命令行 输入 ssh-keygen -t rsa 一路回车
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. 测试 ssh localhost


发现了问题22端口被拒绝！

解决方法：安装openssh

sudo apt-get install openssh-server

4.再次测试


成功了！

安装jdk

1. 创建文件夹 mkdir /usr/local/java

2. 进入 cd /usr/local/java

3. 将下载好的内容移动

   mv /home/bxan/Desktop/jdk-8u191-linux-x64.tar.gz ./

   注意：bxan是用户的名字，每个人都不一样。

4. 进入root用户：sudo -s

5. 解压 tar -xzvf jdk-8u191-linux-x64.tar.gz

   如图：便是成功了

   


6.配置环境变量

gedit /etc/profile

在文件末尾加入

注意：底部不能留空行，行尾部不能有空格

export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

然后

source /etc/profile

注意：这里过后java -version

javac

java 都可以使用了。

重新打开一个terminal再次尝试，若不行输入这个用这个命令安装一下sudo apt install openjdk-8-jdk-headless

成功效果：


你不信的话写个hello world试试！

安装Hadoop！

1. 将桌面上的hadoop移动到/usr/local中

   cd ~/Desktop

   sudo mv hadoop-2.7.7.tar.gz /usr/local

cd /usr/local/

1. 解压

   sudo tar -xvf hadoop-2.7.7.tar.gz

   解压成功后的效果：

   

2. 修改配置文件

   先切换到root ：sudo -s

   进入目录cd etc/hadoop/

修改hadoop-env.sh

sudo gedit hadoop-env.sh

在最后一行添加export JAVA_HOME=/usr/local/java/jdk1.8.0_191

修改core-site.xml

gedit core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hdfs-site.xml

gedit hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4.执行namenode -format

先

cd /usr/local/hadoop-2.7.7/bin

然后

./hdfs namenode -format

成功的效果如下：


5.启动

先进入 /usr/local/hadoop-2.7.7/sbin

然后 sudo ./start-dfs.sh

出现了错误！！！


解决上述一直密码错误的问题

1.修改root密码：sudo passwd root

2.辑配置文件，允许以 root 用户通过 ssh 登录：sudo vi /etc/ssh/sshd_config

​ 找到：PermitRootLogin prohibit-password禁用

   **添加：PermitRootLogin yes**


3.sudo service ssh restart

4.切换到root下

先 ssh-keygen -t rsa

然后cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

修改权限 chmod 600 /root/.ssh/authorized_keys

注意：若没有authorized_keys这个文件就新建一个

6.再次sudo ./start-dfs.sh


tmd！jps没东西

解决办法：

1. 进入rootsudo -s
2. jps
3. 

4.成功了！！！！

进入localhost:50070看看



参考教程

• https://blog.csdn.net/tszxlzc/article/details/61635411

• https://www.cnblogs.com/lanzhi/p/6467725.html

• http://dblab.xmu.edu.cn/blog/install-hadoop/

• https://www.cnblogs.com/87hbteo/p/7606012.html