博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop伪分布式环境搭建
阅读量:5953 次
发布时间:2019-06-19

本文共 2039 字,大约阅读时间需要 6 分钟。

  hot3.png

下载安装包

 官网下载hadoop安装包 hadoop-3.1.1,并解压。

[root@d1 local]# pwd/usr/local[root@d1 local]# tar -zxvf hadoop-3.1.1[root@d1 local]# chown root:root -R hadoop-3.1.1[root@d1 local]# ln -s hadoop-3.1.1 hadoop

修改配置

修改解压后的目录中的文件夹etc/hadoop下的xml配置文件(如果文件不存在,则自己创建)

hadoop-env.sh修改以下配置:

[root@d1 hadoop]# pwd/usr/local/hadoop[root@d1 hadoop]# vi etc/hadoop/hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_181-amd64export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport YARN_RESOURCEMANAGER_USER=rootexport YARN_NODEMANAGER_USER=root

slaves文件修改为以下配置:

[root@d1 hadoop]# vi etc/hadoop/slavesd1

注:以下四个XML配置文件,需在标签<configuration>和</configuration>之间增加配置项。

[root@d1 hadoop]# vi etc/hadoop/mapred-site.xml
mapreduce.framework.name
yarn

core-site.xml(其中“d1”是在/etc/hosts中设置的host,如果未设置,则换为localhost):

[root@d1 hadoop]# vi etc/hadoop/core-site.xml
fs.default.name
hdfs://d1:9000
dfs.replication
1
hadoop.tmp.dir
/hadoop/hadoop_tmp_dir
dfs.namenode.name.dir
/hadoop/dfs/name
dfs.datanode.data.dir
/hadoop/dfs/data

yarn-site.xml:

[root@d1 hadoop]# vi etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle

启动服务

格式化HDFS:

bin/hdfs namenode -format

启动HDFS:

sbin/start-dfs.sh

启动YARN:

sbin/start-yarn.sh

验证是否启动成功

[root@d1 hadoop]# jps21697 Jps20612 SecondaryNameNode20308 NameNode20933 NodeManager20827 ResourceManager20414 DataNode[root@d1 hadoop]#

参照:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

转载于:https://my.oschina.net/qzhli/blog/2234799

你可能感兴趣的文章
python3之装饰器修复技术@wraps
查看>>
[考试]20150606
查看>>
Javascript_备忘录5
查看>>
Can’t create handler inside thread that has not called Looper.prepare()
查看>>
敏捷开发方法综述
查看>>
Hadoop数据操作系统YARN全解析
查看>>
修改数据库的兼容级别
查看>>
Windows下同时安装两个版本Jdk
查看>>
uoj#228. 基础数据结构练习题(线段树)
查看>>
JS键盘事件监听
查看>>
ios开发周期之--(向上,向下,四舍五入)取整
查看>>
加油!
查看>>
拦截导弹问题(动态规划)
查看>>
iOS 单元测试(Unit Test 和 UI Test)
查看>>
[linux小技巧]
查看>>
文件下载_中文乱码:"Content-disposition","attachment; filename=中文名
查看>>
HBase 笔记3
查看>>
2017.11.23 display fun --STM8
查看>>
深入学习jQuery选择器系列第八篇——过滤选择器之伪子元素选择器
查看>>
一个关于log4j的悲伤的故事
查看>>