1. 首页
  2. 文章中心
  3. 深度学习

Linux深度学习环境配置(tensorflow-gpu/远程jupyter)

107 阅读 0 评论
我是靠谱客的博主 甜蜜康乃馨，这篇文章主要介绍Linux深度学习环境配置(tensorflow-gpu/远程jupyter)，现在分享给大家，希望可以做个参考。

文章目录

    • python环境安装
    • Tensorflow安装(无GPU)
    • 远程jupyter_notebook的配置
    • cuda安装
    • tensorflow-gpu安装

这里讲解了python环境安装一直到无GPU的环境和有GPU环境的配置，其中第一部分是python环境搭建的内容，第三部分是jupyter配置的教程，如果你需要查看tensorflow-gpu的配置的话，可以直接到第四部分

 

python环境安装

一般的Linux系统是早已经安装好了python的，但是不否认有的默认是python2的版本，所以我们从头安装一遍

复制代码
1
2
3
4
5
6
7
8
# ubuntu
sudo apt-get install python3
sudo apt-get install python3-pip
# 如果报错提示pip不存在，在安装pip前运行如下命令
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update

当然如果你选择直接安装conda也是可以的，安装步骤如下(记得加入环境变量选yes)

复制代码
1
2
3
4
5
# centos和ubuntu通用
wget https://repo.continuum.io/archive/Anaconda2-2019.07-Linux-x86_64.sh
bash Anaconda2-2019.07-Linux-x86_64.sh
source ~/.bashrc

接下来就可以用conda的方式来管理你的python环境了

如果是直接下载的python3的话，可以考虑使用virtualenv来创建虚拟环境

复制代码
1
2
3
4
5
6
pip3 install -U virtualenv
# 在当前目录创建虚拟环境
virtualenv --system-site-packages -p python3 ./your_name
#启用
source your_name/bin/activate

如果多任务的环境要求是一样的，推荐还是使用conda的方式，以下步骤的前提是你进入了你的虚拟环境

 

Tensorflow安装(无GPU)

无GPU的tensorflow安装很简单

复制代码
1
2
3
# 此时你已经进入了你的虚拟环境，所以不是pip3
pip install tensorflow

记得检查是否安装成功

复制代码
1
2
3
import tensorflow as tf
print(tf.__version__)

 

远程jupyter_notebook的配置

首先我们来安装jupyter

复制代码
1
2
3
4
pip install jupyter
# 如果要使用lab，请继续运行下面命令
pip install jupyterlab

接下来启动jupyter

复制代码
1
2
3
4
5
# 启动jupyter notebook
jupyter notebook
# 启动jupyter lab
jupyter lab

此时只是启动了jupyter，如果想要外部访问，需要开放相应端口。如果使用的是GCP或者是AWS可以按照平台规则来创建防火墙规则来开放指定端口；如果是自己的局域网的话可以考虑关闭防火墙或者开放相应端口

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#下面是ubuntu
# 关闭防火墙
sudo ufw disable
# 开放端口
iptables -I INPUT -p tcp --dport 8888 -j ACCEPT
#下面是centos
# 暂时关闭(重启后还会打开)
systemctl stop firewalld
service
iptables stop
# 永久关闭
systemctl disable firewalld
chkconfig iptables off
# 开放端口
firewall-cmd --zone=public --add-port=8888/tcp --permanent
firewall-cmd --reload

开放了端口后，我们还要设置jupyter允许外部访问

复制代码
1
2
3
# 生成jupyter配置
jupyter notebook --generate-config

以上命令会告诉你生成的文件在什么位置(/root/.jupyter/jupyter_notebook_config.py)

我们打开该文件并且添加如下内容

复制代码
1
2
3
4
5
6
7
c = get_config()
c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = False
c.NotebookApp.allow_remote_access = True
# 如果你需要修改端口的话
c.NotebookApp.port = 8000

接下来在远程即可进入

如果你需要将多个环境加入notebook中的话，只需要创建新的环境并进入后输入：

复制代码
1
2
3
pip install ipykernel
python -m ipykernel install --name env_name --display-name "自定义"

 

cuda安装

在安装GPU版tf之前首先要安装nvidia的驱动

使用以下命令确认主机是否包含nvidia驱动，不包含会提示不存在

复制代码
1
2
nvidia-smi

安装步骤可以看这里，下面也附上了命令，对应版本允许即可(你可以将以下命令创建为shell脚本)(不适用于centos，centos安装过程比较繁琐，以后再补充)：

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# CUDA10, Ubuntu18.04 适用于tf1.13.0以上
# Add NVIDIA package repositories
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update
# Install NVIDIA driver
sudo apt-get install --no-install-recommends nvidia-driver-418
# Reboot. Check that GPUs are visible using the command: nvidia-smi
# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends 
cuda-10-0 
libcudnn7=7.6.2.24-1+cuda10.0

libcudnn7-dev=7.6.2.24-1+cuda10.0
# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer5=5.1.5-1+cuda10.0 
libnvinfer-dev=5.1.5-1+cuda10.0
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# cuda10 Ubuntu16.04适用于tf1.13.0以上
# Add NVIDIA package repositories
# Add HTTPS support for apt-key
sudo apt-get install gnupg-curl
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt-get update
# Install NVIDIA driver
# Issue with driver install requires creating /usr/lib/nvidia
sudo mkdir /usr/lib/nvidia
sudo apt-get install --no-install-recommends nvidia-418
# Reboot. Check that GPUs are visible using the command: nvidia-smi
# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends 
cuda-10-0 
libcudnn7=7.6.2.24-1+cuda10.0

libcudnn7-dev=7.6.2.24-1+cuda10.0
# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer5=5.1.5-1+cuda10.0 
libnvinfer-dev=5.1.5-1+cuda10.0

关于1.13.0以下请自行查看上面的链接

可能回存在libnvibfer安装不成功的问题，如果只是学习的话一般不影响使用，要修改的话，只需要重新运行上述命令的最后一个命令，并把libnvifer-dev和cuda版本号改成报错提示的版本号即可

复制代码
1
2
3
sudo apt-get install -y --no-install-recommends libnvinfer5=5.1.5-1+cuda10.0 
libnvinfer-dev=5.1.5-1+cuda10.0

 

tensorflow-gpu安装

安装也很简单

复制代码
1
2
pip install tensorflow-gpu==2.0.0

注意：这里安装的tf版本一定要和上面安装时所说的cuda版本对应，否则使用时可能出错

最后，测试是否成功

复制代码
1
2
3
import tensorflow as tf
print(tf.__version__)

最后

以上就是甜蜜康乃馨最近收集整理的关于Linux深度学习环境配置(tensorflow-gpu/远程jupyter)的全部内容，更多相关Linux深度学习环境配置(tensorflow-gpu/远程jupyter)内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(71)

相关文章

DL之Keras：基于Keras框架建立模型实现【预测】功能的简介、设计思路、案例分析、代码实现之详细攻略(经典，建议收藏)
DL之Keras：基于Keras框架建立模型实现【预测】功能的简介、设计思路、案例分析、代码实现之详细攻略(经典，建议收藏)
参数回调 callbacks
参数回调 callbacks
zz 数据挖掘, 机器学习的测试数据集 - 美国UCI数据集
zz 数据挖掘, 机器学习的测试数据集 - 美国UCI数据集
自然语言处理第二章语料库与语言知识库一、语料库
自然语言处理第二章语料库与语言知识库一、语料库
Linux深度学习环境配置(tensorflow-gpu/远程jupyter)
Linux深度学习环境配置(tensorflow-gpu/远程jupyter)
Python 格式化日期
Python 格式化日期
python处理时间和日期_$python日期和时间的处理
python处理时间和日期_$python日期和时间的处理
mongo中字符串日期的比较
mongo中字符串日期的比较

评论列表共有 0 条评论

立即
投稿
返回
顶部