概述
技术点：
数据分布式存储，ib网络，分布式存储，存储数据管理
任务分布式调度
ib网络，多机多卡，万兆网络
mongodb数据库
docker隔离，训练框架caffe
数据分析，自动化测试报告多维度分析
海量数据量：几个T，几百万的小文件数，数据挖掘
深度学习训练框架增强，多机，多卡，单机多卡，网络聚合
不同训练框架的兼容和转换
新技术：docker容器，k8s容器，nginx反向代理，mongodb数据库，mysql数据库，caffe/pytorch,redis，django+uwsgi，（haddop，spark，gpfs）
产品：每一个场景都需要定制，数据量，时效性
市场：用户场景复杂，用户数据无法获取，需要对应场景定制，新兴市场
人才：工程人才+算法人才，工程+大数据分布式计算人才，容器云人才
性能指标和挑战：
技术：
1）分布式存储：高性能1PB，低性能 文件数/秒, 大文件带宽数/秒
2）数据管理平台QPS，标注平台，训练平台，自动化测试平台，（cpu，网络，磁盘io）
3）服务器数目500台
4）服务器运维监控，500台服务器，QPS:
最后
以上就是复杂哈密瓜为你收集整理的深度学习平台之技术栈的全部内容，希望文章能够帮你解决深度学习平台之技术栈所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复