k8s GPU部署

1. 先把资源给足
   • CPU
   • 内存（signal 9 表示内存不足）
   • 显存
2. 确认基础镜像与所用深度学习框架的match 可能涉及到cudnn
   • 比如paddle就会出现找不到cudnn 需要创建软连接

ln -s /usr/lib/x86_64-linux-gnu/libcudnn.so.8 /usr/lib/x86_64-linux-gnu/libcudnn.so
ln -s /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcublas.so.11 /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcublas.so
ln -s /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcusolver.so.10 /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcusolver.so
LD_LIBRARY_PATH=/usr/local/cuda-11.0/targets/x86_64-linux/lib:/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH python3 api.py

3. 觉得配置环境麻烦，可以直接使用深度学习框架官方发布的镜像
4. 部署成功后再减少一些资源，避免过多的浪费