程序安装

hadoop

1. 重启时必须删除tmp和logs中文件
2. Format aborted in /app/hadoop-1.1.2/hdfs/name需要输入大写Y
3. 遇到报错没有hadoop命令，请重新执行source hadoop-env.sh
4. 关闭防火墙sudo ufw disable或sudo chkconfig iptables off.
5. 关闭 SElinux，使用 getenforce 命令查看是否关闭，vim /etc/selinux/config，SELINUX=disabled，重启生效
6. 打开docker，sudo systemctl start docker

docker spark集群

1. 安装docker
2. 安装docker-Compose
3. 搭建集群
4. 再次启动，docker-compose up

mysql

1. centos需要yum install -y libaio，也可能时安装java，不太记得了

linux

1. 杀死挂起进程 jobs, kill -9 %{i}

ssh

1. 远程服务器重装系统后ssh-keygen -R 106.14.205.9
2. 远程服务器自动断开vi /etc/ssh/sshd_config ClientAliveInterval 60
ClientAliveCountMax 3 systemctl restart sshd

VM hadoop集群

1. service sshd restart
2. ssh免密码登陆
3. scala-idea插件 ideal历史版本
4. Xshell图形化界面，需要打开Xmanager-Passive

python安装快速安装包

1. python3 -m pip install numpy -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com