下载安装包
官网下载hadoop安装包 hadoop-3.1.1,并解压。
[root@d1 local]# pwd/usr/local[root@d1 local]# tar -zxvf hadoop-3.1.1[root@d1 local]# chown root:root -R hadoop-3.1.1[root@d1 local]# ln -s hadoop-3.1.1 hadoop
修改配置
修改解压后的目录中的文件夹etc/hadoop下的xml配置文件(如果文件不存在,则自己创建)
hadoop-env.sh修改以下配置:
[root@d1 hadoop]# pwd/usr/local/hadoop[root@d1 hadoop]# vi etc/hadoop/hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_181-amd64export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=root
slaves文件修改为以下配置:
[root@d1 hadoop]# vi etc/hadoop/slavesd1
注:以下四个XML配置文件,需在标签<configuration>和</configuration>之间增加配置项。
[root@d1 hadoop]# vi etc/hadoop/mapred-site.xmlmapreduce.framework.name yarn
core-site.xml(其中“d1”是在/etc/hosts中设置的host,如果未设置,则换为localhost):
[root@d1 hadoop]# vi etc/hadoop/core-site.xmlfs.default.name hdfs://d1:9000 dfs.replication 1 hadoop.tmp.dir /hadoop/hadoop_tmp_dir dfs.namenode.name.dir /hadoop/dfs/name dfs.datanode.data.dir /hadoop/dfs/data
yarn-site.xml:
[root@d1 hadoop]# vi etc/hadoop/yarn-site.xmlyarn.nodemanager.aux-services mapreduce_shuffle
启动服务
格式化HDFS:
bin/hdfs namenode -format
启动HDFS:
sbin/start-dfs.sh
启动YARN:
sbin/start-yarn.sh
验证是否启动成功
[root@d1 hadoop]# jps21697 Jps20612 SecondaryNameNode20308 NameNode20933 NodeManager20827 ResourceManager20414 DataNode[root@d1 hadoop]#
参照:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html