Linux深度学习环境配置(tensorflow-gpu/远程jupyter)

这里讲解了python环境安装一直到无GPU的环境和有GPU环境的配置，其中第一部分是python环境搭建的内容，第三部分是jupyter配置的教程，如果你需要查看tensorflow-gpu的配置的话，可以直接到第四部分

python环境安装

一般的Linux系统是早已经安装好了python的，但是不否认有的默认是python2的版本，所以我们从头安装一遍

# ubuntu
sudo apt-get install python3
sudo apt-get install python3-pip
# 如果报错提示pip不存在，在安装pip前运行如下命令
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update

当然如果你选择直接安装conda也是可以的，安装步骤如下(记得加入环境变量选yes)

# centos和ubuntu通用
wget https://repo.continuum.io/archive/Anaconda2-2019.07-Linux-x86_64.sh
bash Anaconda2-2019.07-Linux-x86_64.sh
source ~/.bashrc

接下来就可以用conda的方式来管理你的python环境了

如果是直接下载的python3的话，可以考虑使用virtualenv来创建虚拟环境

pip3 install -U virtualenv
# 在当前目录创建虚拟环境
virtualenv --system-site-packages -p python3 ./your_name
#启用
source your_name/bin/activate

如果多任务的环境要求是一样的，推荐还是使用conda的方式，以下步骤的前提是你进入了你的虚拟环境

Tensorflow安装(无GPU)

无GPU的tensorflow安装很简单

# 此时你已经进入了你的虚拟环境，所以不是pip3
pip install tensorflow

记得检查是否安装成功

import tensorflow as tf
print(tf.__version__)

远程jupyter_notebook的配置

首先我们来安装jupyter

pip install jupyter
# 如果要使用lab，请继续运行下面命令
pip install jupyterlab

接下来启动jupyter

# 启动jupyter notebook
jupyter notebook
# 启动jupyter lab
jupyter lab

此时只是启动了jupyter，如果想要外部访问，需要开放相应端口。如果使用的是GCP或者是AWS可以按照平台规则来创建防火墙规则来开放指定端口；如果是自己的局域网的话可以考虑关闭防火墙或者开放相应端口

#下面是ubuntu
# 关闭防火墙
sudo ufw disable
# 开放端口
iptables -I INPUT -p tcp --dport 8888 -j ACCEPT
#下面是centos
# 暂时关闭(重启后还会打开)
systemctl stop firewalld
service
iptables stop
# 永久关闭
systemctl disable firewalld
chkconfig iptables off
# 开放端口
firewall-cmd --zone=public --add-port=8888/tcp --permanent
firewall-cmd --reload

开放了端口后，我们还要设置jupyter允许外部访问

# 生成jupyter配置
jupyter notebook --generate-config

以上命令会告诉你生成的文件在什么位置(/root/.jupyter/jupyter_notebook_config.py)

我们打开该文件并且添加如下内容

c = get_config()
c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = False
c.NotebookApp.allow_remote_access = True
# 如果你需要修改端口的话
c.NotebookApp.port = 8000

接下来在远程即可进入

如果你需要将多个环境加入notebook中的话，只需要创建新的环境并进入后输入：

pip install ipykernel
python -m ipykernel install --name env_name --display-name "自定义"

cuda安装

在安装GPU版tf之前首先要安装nvidia的驱动

使用以下命令确认主机是否包含nvidia驱动，不包含会提示不存在

nvidia-smi

安装步骤可以看这里，下面也附上了命令，对应版本允许即可(你可以将以下命令创建为shell脚本)(不适用于centos，centos安装过程比较繁琐，以后再补充)：

# CUDA10, Ubuntu18.04 适用于tf1.13.0以上
# Add NVIDIA package repositories
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update
# Install NVIDIA driver
sudo apt-get install --no-install-recommends nvidia-driver-418
# Reboot. Check that GPUs are visible using the command: nvidia-smi
# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends 
cuda-10-0 
libcudnn7=7.6.2.24-1+cuda10.0

libcudnn7-dev=7.6.2.24-1+cuda10.0
# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer5=5.1.5-1+cuda10.0 
libnvinfer-dev=5.1.5-1+cuda10.0

# cuda10 Ubuntu16.04适用于tf1.13.0以上
# Add NVIDIA package repositories
# Add HTTPS support for apt-key
sudo apt-get install gnupg-curl
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt-get update
# Install NVIDIA driver
# Issue with driver install requires creating /usr/lib/nvidia
sudo mkdir /usr/lib/nvidia
sudo apt-get install --no-install-recommends nvidia-418
# Reboot. Check that GPUs are visible using the command: nvidia-smi
# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends 
cuda-10-0 
libcudnn7=7.6.2.24-1+cuda10.0

libcudnn7-dev=7.6.2.24-1+cuda10.0
# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer5=5.1.5-1+cuda10.0 
libnvinfer-dev=5.1.5-1+cuda10.0

关于1.13.0以下请自行查看上面的链接

可能回存在libnvibfer安装不成功的问题，如果只是学习的话一般不影响使用，要修改的话，只需要重新运行上述命令的最后一个命令，并把libnvifer-dev和cuda版本号改成报错提示的版本号即可

sudo apt-get install -y --no-install-recommends libnvinfer5=5.1.5-1+cuda10.0 
libnvinfer-dev=5.1.5-1+cuda10.0

tensorflow-gpu安装

安装也很简单

pip install tensorflow-gpu==2.0.0

注意：这里安装的tf版本一定要和上面安装时所说的cuda版本对应，否则使用时可能出错

最后，测试是否成功

import tensorflow as tf
print(tf.__version__)

最后

以上就是甜蜜康乃馨为你收集整理的Linux深度学习环境配置(tensorflow-gpu/远程jupyter)的全部内容，希望文章能够帮你解决Linux深度学习环境配置(tensorflow-gpu/远程jupyter)所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。