美文网首页CDH
CDH-节点扩展

CDH-节点扩展

作者: Grey____ | 来源:发表于2019-08-03 19:25 被阅读6次

扩展步骤:

  1. 准备环境:jdk-1.8、python-2.7、修改hosts环境、安装ntp、关闭防火墙
  2. 建目录,并将parcel-repo的包拷贝过来
| --/opt
      |--/cloudera
                 |--/parcels
                 |--/parcel-repo
                               |--/CDH-5.15.1-1.cdh5.15.1.p0.4-xenial.parcel
                               |--/CDH-5.15.1-1.cdh5.15.1.p0.4-xenial.parcel.sha
                               |--/manifest.json
      |--/cm-5.15.1
  1. 拷贝压缩包cloudera-manager-xenial-cm5.15.1_amd64.tar.gz,解压:tar -zxf cloudera-manager-xenial-cm5.15.1_amd64.tar.gz -C /opt
    注意:此处不能偷懒直接用线上已解压好的,不然CDH界面会出现节点相互替换显示的情况。始终不会显示全部节点
  2. 保险起见我还是安装了下面包(暂不知作用)
apt-get install libmysqlclient-dev

# pip install mysql-python

apt-get install python-lxml

apt-get install apache2
  1. 安装mysql-connector-java包:apt-get install libmysql-java
  2. 软连接:ln -s /usr/share/java/mysql-connector-java.jar /opt/cm-5.15.1/share/cmf/lib/mysql-connector-java.jar
  3. 创建用户cloudera-scm
    sudo useradd --system --home=/opt/cloudera-manager/cm-5.15.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
  4. 启动节点
cd /opt/cm-5.15.1/etc/init.d
./cloudera-scm-agent start

9.界面安装
主机 -> 向集群添加新主机


问题1:

ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>
[01/Dec/2018 20:23:29 +0000] 30267 MainThread agent ERROR Failed to connect to newly launched supervisor. Agent will exit
[01/Dec/2018 20:23:29 +0000] 30267 MainThread agent INFO Stopping agent...
[01/Dec/2018 20:23:29 +0000] 30267 MainThread agent INFO No extant cgroups; unmounting any cgroup roots
[01/Dec/2018 20:23:29 +0000] 30267 Dummy-1 daemonize WARNING Stopping daemon.

问题1解决办法1:

[root@dip001 ~]# ps -ef | grep supervisord
root 24491 1 0 11月30 ? 00:00:34 /usr/lib64/cmf/agent/build/env/bin/python /usr/lib64/cmf/agent/build/env/bin/supervisord
root 30335 30312 0 20:27 pts/0 00:00:00 grep --color=auto supervisord

[root@dip001 ~]# kill -9 24491
[root@dip001 ~]# ps -ef | grep supervisord
root 30338 30312 0 20:27 pts/0 00:00:00 grep --color=auto supervisord

问题1解决办法2:
解决方法1对我无效,在尝试多次后,重启了节点网络后生效了
sudo /etc/init.d/networking restart 注意,此处是针对ubuntu系统的命令

相关文章

  • CDH-节点扩展

    扩展步骤: 准备环境:jdk-1.8、python-2.7、修改hosts环境、安装ntp、关闭防火墙 建目录,并...

  • swift 单向链表

    节点 扩展描述 链表实现

  • CDH节点扩展

    1.准备工作 1.开启服务nptd,rpcbind.(没有就用yum安装,腾讯云服务器记得修改ntp.conf)2...

  • 广度优先搜索:八数码问题

    问题描述 问题分析 状态空间 广度优先搜索 用队列保存待扩展的节点从队首队取出节点, 扩展出的新节点放入队尾,直到...

  • 4.13-跨集群搜索

    ⽔平扩展的痛点 单集群 – 当⽔平扩展时,节点数不能⽆限增加当集群的 meta 信息(节点,索引,集群状态)过多,...

  • MySQL(Mariadb)总结9 - 主从复制及其实现

    MySQL 复制 扩展方式: Scale Up Scale Out MySQL的扩展: 复制: 每个节点都有相同的...

  • Redis集群

    简介 如上图所示,是一个三主三从的节点。集群用来提供横向扩展能力,即当数据量增多之后,通过增加服务节点就可以扩展服...

  • 节点静态可信扩展过程

    可信主板环境下的可信部件 节点静态可信过程的起点可信根——可信主板的可信扩展是从可信根加电开始,到可信主板完成对自...

  • 有关mysql的想法

    mgr 能够提供 mysql 高可用的特性 , 以及9节点横向扩展的能力 , 扩展只是吞吐量通过 sharding...

  • easyui-tree扩展方法

    /** * 1)扩展jquery easyui tree的节点检索方法。使用方法如下: * $("#treeId"...

网友评论

    本文标题:CDH-节点扩展

    本文链接:https://www.haomeiwen.com/subject/jrksdctx.html