集群优化

作者: 不知道就 | 来源:发表于2019-04-14 16:58 被阅读0次

集群优化
PM2概念、优化和使用
Elasticsearch性能优化原则
【DAY02】Rancher容器云平台安装部署K8S集群(2)
ES集群性能优化及维护
spark集群
ElasticSearch性能优化
厉害了我的猿！围观技术大神们写的一手好“湿”
HBase写性能调优
11. 配置ZooKeeper ensemble

什么是集群？

简单的说，集群就是一堆机器做同一件事。例如：www.jd.com提供卖东西服务这就是一件是，可能是几千台服务器，在背后运转支撑这个网站。www.baidu.com看着就是一个搜索框，背后可能有上万台服务器

2.2、为什么企业要用集群？

a.7*24服务，需要多台机器同时工作，互为实时备份b.高并发访问，需要多台服务器同时提供服务。

2.3、集群特点

a.数据量大，用户多b.7*24持续服务c.高并发（同时访问）d.用户分布广泛，网络情况复杂

2.4、形象描述集群

image.png

第三章、服务器架构

image.png

第4 章、基础优化步骤

第一步、规范目录

mkdir -p /server/tools

mkdir -p /server/scripts

image.png

第二步、配置所有主机域名解析

cat >/etc/hosts<<EOF

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

172.16.1.5 lb01

172.16.1.6 lb02

172.16.1.7 web01

172.16.1.8 web02

172.16.1.9 web03

172.16.1.31 nfs01

172.16.1.41 backup

172.16.1.51 db01 db01.etiantian.org

172.16.1.61 m01

EOF

image.png

第三步、基础优化操作项：更新yum源信息

第一个：就近使用yum源地址，安装软件更快。curl -s -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo第二个：安装RHEL/CentOS官方源不提供的软件包curl -s -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

image.png

第四步、安全优化、

1、关闭selinuxsed -i's#SELINUX=.*#SELINUX=disabled#g'/etc/selinux/configsed -i's/SELINUX=enforcing/SELINUX=disabled/'/etc/selinux/configgrep SELINUX=disabled /etc/selinux/config setenforce 0getenforce

image.png

2、关闭firewalld防火墙服务 systemctl stop firewalldsystemctldisablefirewalld

image.png

第五步、基础优化操作项：设置普通用户提权操作（可选优化）

提权oldboy可以利用sudouseradd oldboyecho123456|passwd --stdin oldboy\cp /etc/sudoers /etc/sudoers.oriecho"oldboy ALL=(ALL) NOPASSWD: ALL ">>/etc/sudoerstail -1 /etc/sudoersvisudo -c

image.png

第六步、设置系统中文UTF8字符集

[root@oldboyedu ~]# cat /etc/locale.confLANG="en_US.UTF-8"修改命令如下：cp /etc/locale.conf /etc/locale.conf.oriecho'LANG="zh_CN.UTF-8"'>/etc/locale.confsource/etc/locale.confecho$LANG第二种方法：cp /etc/locale.conf /etc/locale.conf.orilocalectlset-locale LANG="zh_CN.UTF-8"cat /etc/locale.conf

image.png

第七步、基础优化操作项：时间同步设置

设置系统时间同步yum install ntpdate -y/usr/sbin/ntpdate ntp3.aliyun.comecho'#crond-id-001:time sync by oldboy'>>/var/spool/cron/rootecho"*/5 * * * * /usr/sbin/ntpdate ntp3.aliyun.com >/dev/null 2>&1">>/var/spool/cron/rootcrontab -l

image.png

第八步、基础优化操作项：提升命令行操作安全性（可选优化）

提升命令行安全（可选配置）echo'export TMOUT=300'>>/etc/profileecho'export HISTSIZE=5'>>/etc/profileecho'export HISTFILESIZE=5'>>/etc/profiletail -3/etc/profile. /etc/profile

image.png

第九步、基础优化操作项：加大文件描述符

实例演示：加大文件描述echo'* - nofile 65535 '>>/etc/security/limits.conf tail -1 /etc/security/limits.confulimit-SHn 65535ulimit-n#<==命令方式查看配置结果

image.png

第十步、基础优化操作项：优化系统内核

cat >>/etc/sysctl.conf<

以下参数是对iptables防火墙的优化，防火墙不开会提示，可以忽略不理。

net.nf_conntrack_max = 25000000

net.netfilter.nf_conntrack_max = 25000000

net.netfilter.nf_conntrack_tcp_timeout_established = 180

net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120

net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60

net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.wmem_max = 16777216

net.core.rmem_max = 16777216

EOF

sysctl -p

image.png

第十一步、基础优化操作项：安装系统常用软件

CentOS6和CentOS7都要安装的企业运维常用基础工具包

yum install tree nmap dos2unix lrzsz nc lsof wget tcpdump htop iftop iotop sysstat nethogs -y

CentOS7要安装的企业运维常用基础工具包

yum install psmisc net-tools bash-completion vim-enhanced -y

image.png

第十二步、.基础优化操作项：优化SSH远程连接效率

禁止root远程连接

修改默认22端口，改为52113

监听内网

练习不动。

第十三步、扩展优化操作项-修改yum.conf文件配置信息

保留yum安装的软件包

将/etc/yum.conf中的keepcache=0改为keepcache=1，为日后一键安装网站集群留好rpm及依赖工具包。

image.png

第十四步、锁定关键系统文件

如/etc/passwd、/etc/shadow、/etc/group、/etc/gshadow、/etc/inittab，

处理以上内容后把chattr、lsattr改名为oldboy，转移走，这样就安全多了。

第十五步、清空/etc/issue、/etc/issue.net，去除系统及内核版本登录前的屏幕显示。

第十六步、清除多余的系统虚拟用户账号。

第十七步、为grub引导菜单加密码（自学）。

第十八步、禁止主机被ping（内核参数）。

第十九步、打补丁并升级有已知漏洞的软件。

yum update

image.png

第二十步、.精简开机自启动服务

systemctl list-unit-files |grepenable|egrep -v"sshd.service|crond.service|sysstat|rsyslog|^NetworkManager.service|irqbalance.service"|awk'{print "systemctl disable",$1}'|bashsystemctl list-unit-files |grepenable