阿⾥云服务器上单机部署⼤数据开发环境（hadoop2.6-cdh5.8.0系列）
概述
之前在阿⾥云买的学⽣版服务器，闲着也是浪费，为了平常学习使⽤，决定在⼀台服务器上搭建⼀个伪分布式的开发环境。之前⽤三台虚拟机部署过集，时间长了怕忘，现在升级各个版本重新部署，记下来⽅便以后查看。难免出现错误，欢迎指出，共同学习交流。
⼀、准备好需要⽤到的软件
1.ssh软件：
xshell5 xftp
2.使⽤cloudrea cdh5.8.0系列，
hadoop-2.6.0-cdh5.8.
hbase-1.2.0-cdh5.8.
hive-1.1.0-cdh5.8.
zookeeper-3.4.5-cdh5.8.
spark-2.2.（spark到官⽹选择hadoop2.6版本）
apache-maven-3.5.
kafka_2.11-0.10.
scala-2.
3.系统选择
镜像：
直接选择了已经部署好jdk1.8，tomcat和mysql的系统，后期⽅便使⽤
4.web服务页⾯
hdfs hostname:50070
yarn hostname:8088
hbase hostname:60010
5.配置好环境变量
⼆、基本配置
1.远程登录
进⼊控制台，⽣成密钥对，需要重启服务器后才⽣效。阿⾥云好像默认禁⽌使⽤密码远程登录，做如下配置即可密码登录。
该问题通常是由于 SSH 服务修改了 PasswordAuthentication 参数，禁⽤了密码验证登录所致。
将 /etc/ssh/sshd_config中的如下⾏注释掉。
然后重启ssh服务就可以通过密码远程登录
systemctl restart sshd
2.添加新⽤户及ssh免密登录
1.创建⽤户 hadoop
adduser hadoop
2.修改密码
passwd hadoop
3.为hadoop添加免密切换到root⽤户权限
vi /etc/sudoers
添加⼀⾏
hadoop ALL=(root)NOPASSWD:ALL
4.关闭防⽕墙
systemctl stop firewalld
systemctl disable firewalld(关闭开启启动)
5.为hadoop⽤户添加ssh免密登录
(进⼊⽤户家⽬录)
cd ~
（⽣成密钥，之后⼀路回车）
ssh-keygen-t rsa
（进⼊.ssh⽬录）
cd ~/.ssh
（将本机公钥添加到authorized_key中）
ssh-copy-id主机名
注意：
1.⽤户的家⽬录权限不能太低，只能700，否则⽆法配置免密登陆3.配置java环境变量
vi /etc/profile
export JAVA_HOME=/jdk
export PATH=$PATH:$JAVA_HOME/bin
四、hadoop和yarn部署
1.在家⽬录创建hdfs存储数据的⽬录
1.cd /home/hadoop
2.mkdir hdfs
2.将上⾯要⽤到的所有软件全部解压到/opt⽬录
tar -xzvf /software /opt
3.配置
<-site
1.cd /opt/hadoop-
2.6.0-cdh5.8.0/etc/hadoop
2.l
<configuration>
<property>
<name&p.dir</name>
<value>file:/home/hadoop/hdfs</value> #开始创建好的⽬录
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hostname:9000</value>
</property>
</configuration>
l
1.l
<configuration>
<property>
<name&plication</name> #数据存放的副本数
<value>1</value>
</property>
<property>
快速变白的方法<name>dfs.namenode.name.dir</name>评价手册家长的话
<value>file:/home/hadoop/hdfs/name</value> #namenode数据⽬录
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hdfs/data</value> #datanode数据⽬录
</property>
</configuration>
3.hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_111
4.slaves
hostname #datanode节点主机名
4.hdfs格式化及启动
1.格式化hdfs
bin/hdfs namenode -format
高手寂寞好看吗2.启动namenode和datanode进程
sbin/start-dfs.sh
3.查看进程
jps
DataNode
NameNode
SecondaryNameNode
注意：
1.如果启动时报如下错，见上⾯基本配置1
5.yarn配置
l
<configuration>
<property>
<name&demanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
l
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6.启动yarn
sbin/start-yarn.sh
查看进程：
jps
ResourceManager
NodeManager
五、zookeeper部署
1、配置
1.cd /opt/zookeeper-3.4.5-cdh5.8.0
2.创建数据存放⽬录 zkData
mkdir /opt/zookeeper-3.4.5-cdh5.8.0/zkData
创建myid⽂件，输⼊数字1后保存
touch myid
3.创建⽇志⽬录
mkdir /opt/zookeeper-3.4.5-cdh5.8.0/logs
4.进⼊conf⽬录，将plate⽂件名改为zoo.cfg，编辑zoo.cfg
vi zoo.cfg
tickTime=2000#⼼跳时间，最⼩会话超时时间是tickTime的两倍
dataDir=/opt/zookeeper-3.4.5-cdh5.8.0/zkData
clientPort=2181#监听客户端连接端⼝
5.编辑⽇志⽬录
vi log4j.properties
zookeeper.log.dir=/opt/zookeeper-3.4.5-cdh5.8.0/logs
2、启动
五年级上册数学期末考试卷
1、启动
bin/zkServer.sh start
2、查看当前节点状态
bin/zkServer.sh status
3.连接zookeeper客户端
bin/zkClish -server hostname:2181
六、hbase部署
1.配置
cd /opt/hbase-1.2.0-cdh5.8.0/conf
l
<configuration>
<property>
<name>hbase.cluster.distributed</name> #由于我⽤的是独⽴的zookeeper，所以需要设置为true <value>true</value>
</property>
<property>
<name&dir</name>
<value>hdfs://hostname:9000/hbase</value>
</property>
辽宁高考数学答案<property>
<name&keeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
什么是PC<name&keeper.quorum</name> #zookeeper节点的主机名
<value>hostname</value>
</property>
</configuration>
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论