本文共 4656 字,大约阅读时间需要 15 分钟。
Clouder Hadoop 集群安装步骤。
提示: 本来是写到 文档里的。 然后 就粘贴到这里,
结果好像是 屏幕截图, 无法自动上来。
我也懒得再搞图片上来了。就这样吧。
只要前面的几个步骤 系统设置。 处理好。 一般过程不会出问题的。
就是出问题了。 安装提示都可以解决。
一. 系统要求, 为了与线上的版本一致。 我们选用了对应的版本。
1. Os : centeros 7.x
2. 数据库: mysql 5.6 ( 关闭 5.6 特性: 密码特性, gtid特性。)
2.1 从官方文档看, 对mysql 5.6 以上版本支持上有些问题,
因为 gtid 对 insert select 语法的不支持,
因为测试环境, 对密码没那么高要求, 我们也取消了新密码功能。
2.2 根据官方文档, 数据库会膨胀的比较快。 最好是单独设备。
2.3 支持 mysql , postgresql, oracle 三种数据库品牌。
3. Jdk 1.8 版本, 点名要求 oracle jdk , linux 系统自带的open jdk 不支持。
4 . 内存: 越大越好, 最低要求 8g 内存, 要觉得顺畅点, 要10G 这是官方文档的最低要求.
后记: 刚开始设置 2g 内存, 安装过程中,各种坑都出来了. 搞死.
然后内存改为 4G ,我心里想差不多了. 还是各种坑. 没商量.
最后搞到10g 内存. 轻松愉快的就搞定.
即便是 10 G 内存, 全部安装起来后, 跑了几个测试代码, 还是 各种报警,
看来 10G 也只是能顺利 跑个work count 而已.
二. 安装
1. 我们采用了离线安装方法,这种方法比较容易控制。便于以后的系统升级,
用 tar 包方式安装
1.1 版本选择:
cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz
CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel
CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1
manifest.json
1.2 下载地址
2. 系统设置:
2.1 系统关闭 selinux 支持:
setenforce 0 (临时生效) 修改 /etc/selinux/ config 下的 SELINUX=disabled (重启后永久生效)
2.2 修改 swap 交换设置。
Cloudera 建议将 /proc/ sys /vm/ swappiness 设置为 0
echo 0 > /proc/sys/vm/swappiness
设置为开机执行 写到 /etc/rd.d/rc.local 中.
2.3 关闭 big page 支持.
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
设置为开机执行 , 写到rc.local .
2.4 设置时间服务器同步 . ntpdate . 时间不同步,会导致hbase 无法启动.
2.5 设置各节点间 无密码 ssh .
我们设置的是 hadoop 用户.
3. 安装 mysql 5.6
采用我们自己定制的安装包 ,安装mysql 5.6
给 root 用户授权.
Create database cm;
Grant all on *.* to ‘root’@’%’ identified by ‘root’ ;
Flush privileges ;
4. 安装 jdk :
所有主机安装 jdk : jdk1.8.0_201
设置 java home : export JAVA_HOME=/usr/java/dk1.8.0_201
下载 mysql 驱动: mysql-connector-java-5.1.46-bin.jar
放置一份 到 $JAVA_HOME/lib
5. 所有主机设在 /etc/hosts
把集群所有的 hostname 补全.
6. 设置安装目录 :
配置默认的安装目录为 /opt/cm-x.x.x /opt/cloudera .
7. 安装 cloudera manager .
7.1 解压 cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz
到 /data/cm-5.15.1
Ln -s /data/cm-5.15.1 /opt/cm-5.15.1
7.2 copy 一份 mysql 驱动 到 /opt/cm-5.15.1/share/cmf/lib
7.3 修改 /opt/cm-5.15.1/etc/cloudera-scm-agent/config.ini
[General]
# Hostname of the CM server.
server_host=db-test-vm13-38.ctc
7.4 初始化 数据库 :
/opt/ cm -5.15.1/share/ cmf /schema/ scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
注意 : 初始化代码要root 运行. 否则会报错.
7.5 同步目录 到所有的节点:
S cp -rp /data/ cm-5.15.1/* root@x.x.x.x:/opt/cm-5.15.1
7.6 所有节点 添加 daemon 用户.
useradd --system \
--home= /opt/ cm -5.15.1/run/ cloudera-scm-server \
--no-create-home \
--shell=/ bin/ false \
--comment "Cloudera SCM User" \
cloudera-scm
7.7 启动 cloudera server :
/opt/cm-5.15.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
7.8 所有节点都启动agent
/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
这里在其他节点启动的时候 ,可能会报错.
Cd /opt/cm-5.15.1/lib/cloudera-scm-agent
Rm -rf *
/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
主要问题是因为从主节点 复制过来的时候 .
Uuid 标示文件重复.
8. 安装 parcel .
8.1 在主节点 设置 :
Mkdir -p /opt/clouder/parcel-repo
将
CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel
CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1
manifest.json
放置到 目录中 .
8.2 修改 CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1 文件名
CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha
8.3 安装 parcel
访问 web 页面 13.38:7180/cmf/login
默认的 用户名密码 admin/admin
8.4 版本选择 :
8.5 选择主机 :
这里正常情况括号里会显示所有的节点的数量
如果不对 , 那么应该是有节点的 agent 启动有问题 登陆对应节点,
按照前面方法 重新启动 agent .
8.6 安装 :
如果我们前面设置 parcel 目录 修改 sha 文件, 以及这些问题件的权限没问题的话, 这个下载 tab 应该是瞬间就完成了.
如果很慢 , 那么就要去 主节点 上看看 /opt/cm-5.15.1/log/cloudera-scm-server/ 里面日志.
多半是因为 sha 不对, 又去到 官方网站下载去了. 一般不会有问题.
如果有问题了 ,跟官网核对下sha 里面的验证码, 或者配置 主机的 代理能去到 官网.
8.7 安装过程中的问题 :
安装过程中 ,可能会有提示,某个节点 运行状况不良.
这个时候 ,多半是因为对应节点的资源不够, 导致agent 运行状态不好.
到对应节点 , 重启 agent 服务就可以解决这个问题.
8.8 安装过程 :
8.9 全部安装完成 进入检测页面 :
8.10 系统检测结果 :
如果 这里显示 ,有检测结果 错误, 可以点击进去后, 有提示问题的原因, 以及对应的解决方法,
按照对应的解决方法 , 处理就可以了.
到这里 parcel 就安装完成了.
9. 安装服务 :
9.1 安装服务 :
选择全部服务 .
9.2 设置页面 :
一般选择默认设置就可以了 . 测试环境, 以后可以再修改.
9.3 数据库库选项 :
这里需要 再数据库中 建立对应的数据库 以及对应的数据库用户密码和授权 .
我们采用了简单密码方式 .
create database hive;
grant all on hive.* to 'hive'@'%' identified by 'hive';
create database hue ;
grant allon hue.* to 'hue'@'%' identified by 'hue' ;
create database oozie ;
grant all on oozie.* to 'oozie'@'%' identified by 'oozie';
9.4 hbase :
9.5 hive 安装中的错误处理:
缺少 mysql 驱动, 把 mysql驱动放到 hive_home/lib
Hive_Home 参数: 可以从日志找到 : /opt/cloudera/CDH/lib/hive/lib
然后继续运行或者重启失败的步骤:
安装成功 .
9.6 oozie 的故障处理:
同样的也是缺少 mysql 驱动导致的.
opy mysql驱动到/var/lib/oozie
然后重新运行失败的步骤 .
问题解决 :
9.7 所有服务安装完成 :
9.8 重新登录页面后变成这样了 :
里面具体的项目可以如何设置 ,包括 hdfs .yarn 等的 ha 功能,都可以在web 上设置完成.相当方便.
各个项目 ,子系统都可以很好的检测到.
到此 项目安装完成 .
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/133735/viewspace-2636553/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/133735/viewspace-2636553/