ubuntu下安装hadoop

作者：bin

一、依赖安装

首先hadoop依赖java,安装方式参考ubuntu下安装java

然后测试是否有安装hadoop

hadoop version

安装即返回安装的信息

下面介绍如何安装

1、在官方发布处，找到最新的版本

http://mirror.bit.edu.cn/apache/hadoop/common/

2、选择最新的版本复制下载链接，使用命令下载

curl -O "http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz"

3、将文件复制到/usr/local/下

mkdir /usr/local/hadoop

cp hadoop-2.8.0.tar.gz /usr/local/hadoop

4、解压,文件比较大，解压过程慢，稍等即可

cd /usr/local/hadoop

tar zxvf hadoop-2.8.0.tar.gz  --strip-components 1 > /dev/null

5、配置环境变量，添加以下至/etc/profile中

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

6、hadoop配置，修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh 文件

指定java位置(绝对路径)

export JAVA_HOME=”/usr/local/java/jdk1.8.0_131″

7、core-site.xml，核心配置文件

core-site.xml文件中包含，如：用于Hadoop实例的端口号，分配给文件系统，存储器限制用于存储数据存储器和读/写缓冲器的大小的信息。

8、hdfs-site.xml

hdfs-site.xml文件中包含，如：复制数据的值，NameNode的路径，本地文件系统，要存储Hadoop基础架构的Datanode路径的信息。

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/ben/work/hadoop/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/ben/work/hadoop/data</value>
</property>

9、yarn-site.xml

此文件用于配置成yarn在Hadoop中。打开yarn-site.xml文件，并在标签之前添加以下属性到这个文件中。

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

10、mapred-site.xml

此文件用于指定MapReduce框架以使用。默认情况下Hadoop包含yarn-site.xml模板。首先，它需要从mapred-site.xml复制模板到mapred-site.xml文件，使用下面的命令来。

我们复制模板

cp mapred-site.xml.template mapred-site.xml

并且在mapred-site.xml中添加

<configuration>
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

11、验证安装

hdfs namenode -format

12、启动DFS

start-dfs.sh

13、启动守护进程

start-yarn.sh

14、使用浏览器访问ip:50070端口的地址 http://ip:50070 显示如下信息，即为启动成功

<img src="http://zengbingo.com/wp-content/uploads/2017/06/微信图片_20170613105344-300x178.png" alt="" />