我是靠谱客的博主 轻松柚子,最近开发中收集的这篇文章主要介绍基于TDH大数据平台安装并上架Sophon可拖拽式人工智能平台,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

大数据核心原理与实践专栏

先决条件

首先说明一下,Sophon人工智能平台有单独的安装包SophonWeb,可独立部署,部署方式同社区版TDH安装方式一样,极为简单。即当TDH平台部署即可,过程参考先前博文。

但是现在,如果我们生产环境中已经部署好TDH大数据平台,现在又想用Sophon人工智能平台,这时就需要手动上架Sophon应用了。因为SophonWeb收费,我们可以先安装TDH社区版,再手动上架Sophon即可。部署TDH(Transwarp Data Hub)商业大数据平台教程可参考如下博文:

搭建TDH商业大数据平台社区版(附其他主流商业大数据平台下载汇总)

环境配置

# 查看CPU、内存、硬盘
cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id"
cat /proc/meminfo |grep MemTotal
fdisk -l |grep Disk
  • TDH 5.1.2 final
  • 8个Intel Xeon E5-2620 v4 @ 2.10GHz(8核16线程,支持超线程,公司有矿)
  • 65G内存
  • 500G硬盘

这里写图片描述
这里写图片描述

准备安装介质

  • sophon-1.3-transwarp-5.1.img (镜像)
  • sophon-redis-transwarp-5.1.img (镜像)
  • sophon-1.3-transwarp-5.1.tar.gz (配置文件)

上架Sophon操作

1、解压Sophon配置文件至相应目录
tar zxvf sophon-1.3-transwarp-5.1.tar.gz -C /var/lib/transwarp-manager/master/content/meta/services/SOPHON/
2、加载、修改镜像Tag、并上传镜像
# 加载需要的镜像
docker load -i sophon-1.3-transwarp-5.1.img
sophon-redis-transwarp-5.1.img
# 查看已有镜像
docker images

这里写图片描述

可以看到我们需要的两个镜像已被加载,这时我们需要将镜像的Tag改为当前TDH版本,(这里改为transwarp-5.1.2-final),以方便TDH平台对Sophon进行统一管理。

我们记下需要更改 Tag 的镜像ID,IMAGE ID,以上为 72de04cd4fe0、4fa67bc655ef。

# 修改tag
docker tag 72de04cd4fe0 {$yourIP}:5000/transwarp/sophon-web:transwarp-5.1.2-final 
docker tag 4fa67bc655ef {$yourIP}:5000/transwarp/sophon-redis:transwarp-5.1.2-final

这里写图片描述

可以看到 Tag 已经改好,下面直接 push 上传镜像即可:

docker push {$yourIP}:5000/transwarp/sophon-web:transwarp-5.1.2-final
docker push {$yourIP}:5000/transwarp/sophon-redis:transwarp-5.1.2-final 
3、修改配置文件

如果在第一步解压出的配置文件目录与当前TDH平台的 Tag 一致,那么可以直接跳过这一步,如果不一致,直接将配置文件目录改为当前 Tag ,再将里面所有的版本信息都更正过来即可。

# 键入配置文件目录
cd /var/lib/transwarp-manager/master/content/meta/services/SOPHON/
# 更改配置文件目录
mv transwarp-x.x.x-final  transwarp-y.y.y-final 
cd transwarp-y.y.y-final
# 替换操作
sed -i "s/transwarp-x.x.x-final/transwarp-y.y.y-final/g" conf1.yaml
sed -i "s/transwarp-x.x.x-final/transwarp-y.y.y-final/g" conf2.yaml
...
sed -i "s/transwarp-x.x.x-final/transwarp-y.y.y-final/g" confn.yaml
4、重启Transwarp Manager

上架好后,在 Master 主节点重启 Manager (可视化集群管理8180界面) 即可:

/etc/init.d/transwarp-manager restart

至此,Sophon应用上架完成,我们便可以在 TDH 大数据平台中使用可拖拽式人工智能平台 Sophon 了。

但是如果我们需要对之后 Sophon 训练出来的模型进行 API 部署,我们还需要上架 Kong 服务,如果需要对训练模型工作流部署,我们还需要上架 WorkFlow。一般情况用不上,我们可以就此结束。

添加 Sophon 依赖包

在 yarn image 中添加 Sophon 依赖包:

  • numpy-1.14.2-cp35-cp35m-linux_x86_64.whl
  • pandas-0.23.0-cp35-cp35m-linux_x86_64.whl
  • python_dateutil-2.7.0-py2.py3-none-any.whl
  • pytz-2018.3-py2.py3-none-any.whl
  • six-1.11.0-py2.py3-none-any.whl

执行 pip3 install ,之后 commit 并 push image:

pip3 install numpy-1.14.2-cp35-cp35m-linux_x86_64.whl
...

上架Kong服务(可选)

需要的镜像、配置文件:

  • kong-transwarp-5.1.img
  • kong-transwarp-5.1.tar.gz

配置文件解压路径:

 /var/lib/transwarp-manager/master/content/meta/services/KONG/

加载镜像、更改 Tag 、push 镜像、更改配置文件版本信息、重启 Manager 等操作同上。

上架WorkFlow服务(可选)

需要的镜像:

  • workflow-transwarp-5.1.img

无需配置文件,加载镜像、更改 Tag 、push 镜像,重启 Manager ,登录即可安装 WorkFlow 服务。

至此便完成了基于 TDH 大数据平台安装 Sophon 人工智能平台操作。后面直接在 Manager 上安装 Sophon 即可:

这里写图片描述

最后

以上就是轻松柚子为你收集整理的基于TDH大数据平台安装并上架Sophon可拖拽式人工智能平台的全部内容,希望文章能够帮你解决基于TDH大数据平台安装并上架Sophon可拖拽式人工智能平台所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(40)

评论列表共有 0 条评论

立即
投稿
返回
顶部