我是靠谱客的博主 乐观小蝴蝶,最近开发中收集的这篇文章主要介绍AI实战:AI模型部署系列之dockerAI模型部署系列之docker,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

AI模型部署系列之docker

前言

AI实战:AI模型部署系列之docker
AI实战:AI模型部署系列之多进程

本文分享使用docker部署AI模型的经验。

Docker五大优势:持续集成、版本控制、可移植性、隔离性和安全性。

下面就介绍一下docker的安装、创建cpu的tensorflow的docker。

同时以 上海垃圾分类系列之快速搭建垃圾分类模型 作为整个过程的搭建的例子。

环境

  • Ubuntu 16.04

安装docker

  • 详细步骤
    mkdir docker_example
    cd docker_example/
    
    
    1、卸载旧版本docker(未安装过的,可不执行)
    
        sudo apt-get remove docker docker-engine docker.io
    
    2、更新
    
        sudo apt-get update
    
    3、安装依赖包
    
        sudo apt-get install 
            apt-transport-https 
            ca-certificates 
            curl 
            software-properties-common
    
    4、添加官方密钥
    
        curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
    
        出现 OK 表示添加成功
        
    5、添加仓库
    
        sudo add-apt-repository 
           "deb [arch=amd64] https://download.docker.com/linux/ubuntu 
           $(lsb_release -cs) 
           stable"
    
    6、再次更新
    
        sudo apt-get update
    
    7、安装docker(默认安装最新版)
        
        sudo apt-get install docker-ce
        
        若想指定版本:
            sudo apt-get install docker-ce=<VERSION>
    
    
    8、查看docker版本
    
        docker -v
    
        当前最新版本:Docker version 18.09.7, build 2d0083d
        
    9、启动docker 后台服务
    
        sudo service docker start
        
        
    10、测试运行hello-world
    
        sudo docker run hello-world
        
        
        出现下面详细就表明安装顺利、测试ok:
        
            Hello from Docker!
            This message shows that your installation appears to be working correctly.
            ....
            ....
    
    
    

创建cpu版的Tensorflow

1、下载镜像

    sudo docker pull tensorflow/tensorflow:1.4.0-py3
        
        (1.4.0 是指版本, py3 是指python3.x)

    显示下面信息表示下载完毕:
        Status: Downloaded newer image for tensorflow/tensorflow:1.4.0-py3
    
    需要下载其他版本的tensorflow,把1.4.0改为对应的版本号即可。
    
    若是需要下载gpu的tensorflow,命令如下:
        sudo docker pull tensorflow/tensorflow:1.4.0-gpu-py3
        
        
    查看tensorflow的镜像(TensorFlow Docker Images):
        https://hub.docker.com/r/tensorflow/tensorflow

2、创建Tensorflow容器

    sudo docker run --name refuse_classify-tensorflow-1.4.0-py3 -d 
        -p 8888:8888 
        -p 9006:6006 
        -p 9007:6007 
        -p 9008:6008 
        -v ~/data/tmp/docker_example:/data 
        tensorflow/tensorflow:1.4.0-py3
    
    
    --name:创建的容器名,即 refuse_classify-tensorflow-1.4.0-py3  (python3下tensorflow 1.4.0 的垃圾分类docker)
    -d:后台运行容器 
    -p 8888:8888:端口映射,前者是宿主机的端口,后者是docker中的端口
    -p 9006:6006: tensorboard 端口映射
    -p 9007:6007: 预留端口
    -p 9008:6008: 预留端口
    -v ~/data/tmp/docker_example:/data:将宿主机的 ~/data/tmp/docker_example 挂载到容器内的 /data 下
    tensorflow/tensorflow:1.4.0-py3 :是上一步下载的镜像


    注:1、若是多次创建会出现下面的错误提示:
        
        docker: Error response from daemon: Conflict. The container name "/refuse_classify-tensorflow-1.4.0-py3" is already in use by container "b942ba9baec0674617c031c454457caf5abe8620bcdd6e9a628756e83743c89e". You have to remove (or rename) that container to be able to reuse that name.
        
        解决方法:
            sudo docker rm b942ba9b
                
                (b942ba9b  是docker id 的前面几个字符)
        
        2、若是gpu版本,需要加上 ‘ --runtime=nvidia ’,及安装对应的CUDA,请自行查阅相关资料

3、运行docker

    sudo docker exec -it refuse_classify-tensorflow-1.4.0-py3  env LANG=C.UTF-8 /bin/bash

    
    出现下面的信息表示已进入docker:
        root@5b6a3a37e730:/notebooks#
        
            
            注:‘5b6a3a37e730’ 是 docker id
            
    
    查看相关信息:
        python
        
        输出信息:
            Python 3.5.2 (default, Sep 14 2017, 22:51:06) 
            [GCC 5.4.0 20160609] on linux
            Type "help", "copyright", "credits" or "license" for more information.
    
    
        import tensorflow as tf
        print(tf.__version__)
        
        输出:
            1.4.0
            
            说明一切安装顺利。

4、docker 常用指令

  • 停止docker

       sudo docker stop 5b6a3a37e730
       
       或
       
       sudo docker stop refuse_classify-tensorflow-1.4.0-py3
    
  • 开启docker

      sudo docker start 5b6a3a37e730
    
  • 重启docker

     sudo docker restart 5b6a3a37e730
    
  • 查看本地镜像

      sudo docker images
    
  • 删除本地镜像

      sudo docker rmi docker_id/name
    
  • 查看运行中的docker

      sudo docker ps
    

部署AI模型

这里使用 上海垃圾分类系列之快速搭建垃圾分类模型 来作为例子。
模型下载:垃圾分类识别模型 (注:字母有拼写错误,rafuse改为refuse即可和下面的步骤一致)

  • 步骤

      1、复制完整代码到 ‘~/data/tmp/docker_example’
      
      2、进入docker
          
          sudo docker exec -it refuse_classify-tensorflow-1.4.0-py3  env LANG=C.UTF-8 /bin/bash
          
          cd /data/
          
          ls
          
              输出信息:
                  refuse_recognize
          
          cd refuse_recognize
          
      3、 安装环境
          
          pip install jieba
          pip install Cython
          pip install word2vec
          
      
      4、模型修改
          
          1)下载imagenet2012的inception-v3模型
              
              python classify_image.py
              
              输出下来信息表示成功:
                  2019-07-15 11:54:25.060237: I tensorflow/core/platform/cpu_feature_guard.cc:137] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AVX2 FMA
                  2019-07-15 11:54:25.433662: W tensorflow/core/framework/op_def_util.cc:334] Op BatchNormWithGlobalNormalization is deprecated. It will cease to work in GraphDef version 9. Use tf.nn.batch_normalization().
                  大熊猫,熊猫,熊猫,浣熊,大熊猫(Ailuropoda melanoleuca) (score = 0.89107)
                  光面狐猴;大狐猴 (score = 0.00779)
                  小熊猫,小熊猫,熊猫,熊猫,猫熊,小熊猫 (score = 0.00296)
                  番荔枝 (score = 0.00147)
                  地星 (score = 0.00117)
                  
          
          2)垃圾分类映射模型修改
              
              vi runs/checkpoints/checkpoint
              
              修改
                  /home/zzh/data/DL/refuse_recognize/
              为
                  /data/refuse_recognize
    
          
          
          3)测试
              python refuse.py ./img/2.png
                  
              输出下面信息表示一切ok:    
                  
                  classify:
                  手机移动电话  =>  可回收垃圾
                  iPod  =>  湿垃圾
                  笔记本电脑笔记本  =>  可回收垃圾
                  调制解调器  =>  湿垃圾
                  手持电脑手持微电脑  =>  可回收垃圾
    

保存该模型的docker环境

1)退出docker

   exit

2)查看运行中的docker

   sudo docker ps

3)保存dicker

   sudo docker commit -a 'zack' -m 'refuse classify model, tf1.4.0-py3-cpu' 65e3ec576b7f  refuse_classify:v1
    
    
    参数说明:

        -a : 提交的镜像作者
        -m : 提交时的说明文字
        65e3ec576b7f: 容器id
        refuse_classify: 名称
        v1: tag

4)查看保存的docker镜像

    sudo docker images
    
    输入信息如下:
    REPOSITORY              TAG                 IMAGE ID            CREATED             SIZE
    refuse_classify         v1                  52ec4a357116        40 seconds ago      1.57GB

参考

https://www.runoob.com/docker/ubuntu-docker-install.html
https://www.jb51.net/article/135441.htm

最后

以上就是乐观小蝴蝶为你收集整理的AI实战:AI模型部署系列之dockerAI模型部署系列之docker的全部内容,希望文章能够帮你解决AI实战:AI模型部署系列之dockerAI模型部署系列之docker所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(40)

评论列表共有 0 条评论

立即
投稿
返回
顶部