数据分析系列 22/32 | 9种常用的数据分析方法

48 阅读 0 评论 32 点赞

我是靠谱客的博主迷人银耳汤，最近开发中收集的这篇文章主要介绍数据分析系列 22/32 | 9种常用的数据分析方法，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

要使各种结构化的、非结构化的、海量的数据实现标准化、信息化，能够提供业务绩效评估、业务决策支持等要求，我们首先需要进行数据分析。

同时，围绕业务问题，采用合适的分析方法，分析模型，以及分析工具，这是数据分析师的必备技能。这里介绍了一些常用的数据分析方法供大家参考。

PART

一般统计类

一、描述性统计

描述性统计是一类统计方法的汇总，揭示了数据分布特性。它主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布以及一些基本的统计图形。

1、缺失值填充：常用方法有剔除法、均值法、决策树法。

2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以在做数据分析之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。

二、回归分析

回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，以分析数据内在规律。

1. 一元线性分析

只有一个自变量X与因变量Y有关，X与Y都必须是连续型变量，因变量Y或其残差必须服从正态分布。

2. 多元线性回归分析

使用条件：分析多个自变量X与因变量Y的关系，X与Y都必须是连续型变量，因变量Y或其残差必须服从正态分布。

3.Logistic回归分析

线性回归模型要求因变量是连续的正态分布变量，且自变量和因变量呈线性关系，而Logistic回归模型对因变量的分布没有要求，一般用于因变量是离散时的情况。

4. 其他回归方法：非线性回归、有序回归、Probit回归、加权回归等。

三、方差分析

使用条件：各样本须是相互独立的随机样本；各样本来自正态分布总体；各总体方差相等。

1. 单因素方差分析：一项试验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系。

2. 多因素有交互方差分析：一顼实验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系。

3. 多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或忽略影响关系。

4. 协方差分祈：传统的方差分析存在明显的弊端，无法控制分析中存在的某些随机因素，降低了分析结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析，是将线性回归与方差分析结合起来的一种分析方法。

四、假设检验

1. 参数检验

参数检验是在已知总体分布的条件下（一般要求总体服从正态分布）对一些主要的参数(如均值、百分数、方差、相关系数等）进行的检验。

2. 非参数检验

非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一般性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。

适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。

1）虽然是连续数据，但总体分布形态未知或者非正态；

2）总体分布虽然正态，数据也是连续类型，但样本容量极小，如10以下；

主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。

PART

数据挖掘类

五、相关分析

　　相关分析是一种非确定性的关系,研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。

　　1.单相关：两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量；

　　2.复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以上的自变量和因变量相关；

3.偏相关：在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量之间的相关关系称为偏相关。

六、聚类分析

　　聚类是将数据分类到不同的类或者簇这样的一个过程，因此同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。

　　1）系统聚类法：适用于小样本的样本聚类或指标聚类，一般用系统聚类法来聚类指标，又称分层聚类。

　　2）逐步聚类法：适用于大样本的样本聚类。

　　3）其他聚类法：两步聚类、K均值聚类等。

七、判别分析

　　判别分析，是一种统计判别和分组技术，就一定数量样本的一个分组变量和相应的其他多元变量的已知信息，确定分组与其他多元变量信息所属的样本进行判别分组。

　　判别分析与聚类分析的区别

　　1.聚类分析可以对样本逬行分类，也可以对指标进行分类；而判别分析只能对样本进行分类；

　　2.聚类分析事先不知道事物的类别，也不知道分为几类；而判别分析必须事先知道事物的类别，并且知道分几类；

3.聚类分析不需要分类的历史资料，而直接对样本进行分类；而判别分析需要分类历史资料去建立判别函数，然后才能对样本进行分类。

八、因子分析

　　因子分析是指研究从变量群中提取共性因子的统计技术，从大量的数据中寻找内在的联系，减少决策的困难。因子分析的方法约有10多种，如重心法、影像分析法、最大似然法、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，以相关系数矩阵为基础。在社会学研究中，因子分析常采用以主成分分析为基础的反复法。

九、主成分分析

　　通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。其主要思想是降维，将n维特征映射到k维上（k<n），k维是全新的正交特征。这个k维特征称为主元，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。

　　与因子分析比较：

　　相同：都能够起到分析多个原始变量内在结构关系的作用；

　　不同：主成分分析重在综合原始变适的信息.而因子分析重在解释原始变量间的关系。

以上就是我们今天说的9种常用的数据分析方法，后期我们会一一举例子应用，敬请期待。

欢迎关注微信公众号，访问更多精彩：数据之魅。

如需转载，请联系授权，谢谢合作。