概述
数据分析的工作流程大约可分为9个阶段,其中前六个阶段是必经阶段,后3个阶段为可选择阶段。
流程为:
提出问题——获取数据——整理数据——数据探索——得出结论——展示结果——预测模型——模型评估——部署
各个阶段的具体内容:
1.确定问题阶段
明确需要用数据解决什么,一般结合具体业务提出问题,将大问题分解为可以用数据解决的小问题
2.获取数据阶段
根据要解决的问题收集数据,可以通过自有数据库、公开数据集、爬虫等获取数据。
3.整理数据阶段
整理数据又包括数据评估、数据清洗和规范化。
数据评估主要是检查数据中的问题,包括无效数据、值缺失、数据重复、异常值以及格式等问题。
数据清洗和规范化就是调整数据,解决数据评估时发现的问题。
4.数据探索阶段
解决确定问题时提出的具体问题,是数据分析中最重要、最核心的部分。
可以通过创建直方图、饼图、折线图来探索数据的分布情况、不同属性之间的相关性;可以通过一些统计数字,如最大最小值、平均数、中位数标准差等,获取对数据的整体认识。
5.得出结论阶段
借助描述统计学、推断统计学和机器学习得出各种结论。
6.展示结果阶段
将得出的结果用报告、PPT、方案、出版物等形式整合出来,对相关人员进行交流和展示。
7.预测模型阶段
创建合适的统计模型来预测一个结果的概率。
8.模型评估阶段
通过测试来验证模型是否有效。
9.部署阶段
将预测模型以单独的应用形式进行部署。
以上就是简单的数据模型的概述
最后
以上就是幸福豌豆为你收集整理的数据分析的流程概述的全部内容,希望文章能够帮你解决数据分析的流程概述所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复