动手学数据分析 学习笔记（一）探索性数据分析

一、数据载入

导入numpy和pandas

import numpy as np
import pandas as pd

载入数据

(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据

绝对路径是指文件在硬盘上真正存在的路径。相对路径就是相对于自己的目标文件位置。

df = pd.read_csv('train.csv')
df.head(3)

df = pd.read_csv('C:/Users/lan/Desktop/hands-on-data-analysis-master/hands-on-data-analysis-master/train.csv')
df.head(3)

拓展 pd.read_csv()和pd.read_table()的不同

read_table以制表符t作为数据的标志，也就是以行为单位进行存储，读取excel文件后每个字符串间有逗号相隔，这表明每一行（而不是每一个字符串）作为一个维度进行了存储。read_csv读取excel文件后虽然也是一个数组，但每一个字符串作为一列。

因此，设置sep=’t’可以使pd.read_csv()实现pd.read_table()的功能；同样，设置sep=’,’能够让pd.read_table()实现pd.read_csv()的功能。

【拓展】'.tsv'和'.csv'的不同

tsv代表制表符分隔值，用制表符（Tab,'t'）作为字段值的分隔符。csv代表逗号分隔符，用半角逗号（','）作为字段值的分隔符。
 

每1000行为一个数据模块，逐块读取

chunker=pd.read_csv('train.csv',chunksize=1000)

逐块读取可避免 读取的文件数据较大时，直接利用pandas读取会给电脑造成过大的压力的问题。

for piece in chunker:
    print(type(piece))
    print(len(piece))

<class 'pandas.core.frame.DataFrame'>
891

将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港

df=pd.read_csv('train.csv', names=['乘客ID','是否幸存','乘客等级(1/2/3等舱位)','乘客姓名','性别','年龄','兄弟姐妹个数','父母小孩个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

所谓将表头改为中文其中一个思路是：将英文列名表头替换成中文。还有其他的方法吗？

 df.rename(columns={'PassengerId':'乘客ID','Survived':'是否幸存','Pclass':'乘客等级(1/2/3等舱位)',
 'Name':'乘客姓名','Sex':'性别','Age':'年龄','SibSp':'堂兄弟/妹个数','Parch':'父母与小孩个数','Ticket':'船票信息',
 'Fare':'票价','Cabin':'客舱','Embarked':'登船港口'},inplace=True)
 df.head(891)

查看数据的基本信息

#写入代码
print(df.dtypes)#查看每列的类型
df.describe()#获取统计特征（行数，平均数）
df.info()#总的简介描述

乘客ID                int64
是否幸存                int64
乘客等级(1/2/3等舱位)      int64
乘客姓名               object
性别                 object
年龄                float64
堂兄弟/妹个数             int64
父母与小孩个数             int64
船票信息               object
票价                float64
客舱                 object
登船港口               object
dtype: object
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
 #   Column          Non-Null Count  Dtype  
---  ------          --------------  -----  
 0   乘客ID            891 non-null    int64  
 1   是否幸存            891 non-null    int64  
 2   乘客等级(1/2/3等舱位)  891 non-null    int64  
 3   乘客姓名            891 non-null    object 
 4   性别              891 non-null    object 
 5   年龄              714 non-null    float64
 6   堂兄弟/妹个数         891 non-null    int64  
 7   父母与小孩个数         891 non-null    int64  
 8   船票信息            891 non-null    object 
 9   票价              891 non-null    float64
 10  客舱              204 non-null    object 
 11  登船港口            889 non-null    object 
dtypes: float64(2), int64(5), object(5)
memory usage: 83.7+ KB

观察表格前10行的数据和后15行的数据

df.head(10)
df.tail(15)

判断数据是否为空，为空的地方返回True，其余地方返回False

df.isnull().head()

【思考】对于一个数据，还可以从哪些方面来观察？找找答案，这个将对下面的数据分析有很大的帮助

# 注意：不同的操作系统保存下来可能会有乱码。大家可以加入`encoding='GBK' 或者 ’encoding = ’utf-8‘‘`
 

df.to_csv('train_chinese.csv')

二 、pandas基础

pandas中有两个数据类型DateFrame和Series

Series：

example_1=pd.Series([1,'a',5.2,7],index=['d','b','c','a'])
example_1

d      1
b      a
c    5.2
a      7
dtype: object

DataFrame：

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],'year': [2000, 2001, 2002, 2001, 2002, 2003],
        'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
example_2=pd.DataFrame(data)
example_2

查看DataFrame数据的每列的名称

df.columns

查看"Cabin"这列的所有值[有多种方法]

df.Cabin.head()#法1

df['Cabin'].head()#法2

  加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除

经过我们的观察发现一个测试集test_1.csv有一列是多余的，我们需要将这个多余的列删去

test1= pd.read_csv('test_1.csv')
test1.head()

del test1.【’a‘】#法1

test_1 = test_1.drop('a', axis=1, inplace=True) #法2

第一个参数是labels，即要删除的行列的名字；
 

【思考】还有其他的删除多余的列的方式吗？

由数据可知Parch列也是多余列

 将['PassengerId','Name','Age','Ticket']这几个列元素隐藏，只观察其他几个列元素

df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3)

【思考】对比任务五和任务六，是不是使用了不一样的方法(函数)，如果使用一样的函数如何完成上面的不同的要求呢？

axis默认为0，指删除行，删除columns时要指定axis=1；
index直接指定要删除的行，columns直接指定要删除的列；
inplace=False默认该删除操作不改变原数据，返回一个执行删除操作后的新dataframe；
inplace=True则会直接在原数据上进行删除操作，删除后无法返回。
如果想要完全的删除你的数据结构，使用inplace=True，因为使用inplace就将原数据覆盖了

 筛选的逻辑

表格数据中，最重要的一个功能就是要具有可筛选的能力，选出我所需要的信息，丢弃无用的信息。

我们以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。

df[df["Age"]<10].head()

以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

midage=df[(df["Age"]>10)&(df["Age"]<50)].head()
midage

将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

midage.loc[[100],['Pclass','Sex']]

使用loc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.loc[[100,105,108],['Pclass','Name','Sex']] 

使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.iloc[[100,105,108],[2,3,4]]

【思考】对比iloc和loc的异同

loc函数主要基于行标签和列标签进行索引：使用loc函数，索引的是字符串

iloc函数主要基于行索引和列索引，均从 0 开始。iloc函数索引的数据是int整型，因此是默认前闭后开。只能输入数字，输入字符的话是会报错的。

探索性数据分析

开始之前，导入numpy、pandas包和数据

i#加载所需的库

mport numpy as np
import pandas as pd

#载入之前保存的train_chinese.csv数据，关于泰坦尼克号的任务，我们就使用这个数据
text = pd.read_csv('train_chinese.csv')
text.head()

利用Pandas对示例数据进行排序，要求升序

#自己构建一个都为数字的DataFrame数据
frame = pd.DataFrame(np.arange(8).reshape((2, 4)), 
                     index=['2', '1'], 
                     columns=['d', 'a', 'b', 'c'])
frame
 

pd.DataFrame() ：创建一个DataFrame对象

np.arange(8).reshape((2, 4)) : 生成一个二维数组（2*4）,第一列：0，1，2，3 第二列：4，5，6，7

index=['2, 1] ：DataFrame 对象的索引列

columns=['d', 'a', 'b', 'c'] ：DataFrame 对象的索引行

可以看到sort_values这个函数中by参数指向要排列的列，ascending参数指向排序的方式（升序还是降序）

# 大多数时候我们都是想根据列的值来排序,所以，将你构建的DataFrame中的数据根据某一列，升序排列
frame.sort_values(by='c', ascending=True)

# 让行索引升序排序
frame.sort_index()

# 让列索引升序排序
frame.sort_index(axis=1)

# 让列索引降序排序
frame.sort_index(axis=1, ascending=False)

# 让任选两列数据同时降序排序
frame.sort_values(by=['a', 'c'], ascending=False)

对泰坦尼克号数据（trian.csv）按票价和年龄两列进行综合排序（降序排列），从数据中你能发现什么

text.sort_values(by=['年龄','票价'],ascending=False).head(20)

【思考】排序后，如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好，所以我们会明显看出，票价前20的乘客中存活的有14人，这是相当高的一个比例，那么我们后面是不是可以进一步分析一下票价和存活之间的关系，年龄和存活之间的关系呢？当你开始发现数据之间的关系了，数据分析就开始了。
一般年龄越高的越在意乘船的舒适度，所以所花的票价较高，因而乘坐的仓位较好，安全性更高

利用Pandas进行算术计算，计算两个DataFrame数据相加结果

#代码
text3=pd.DataFrame(np.arange(12).reshape(3,4),
                  columns=['a','b','c','d'],
                  index=['A','B','C'])
text4=pd.DataFrame(np.arange(9).reshape(3,3),
                  columns=['a','e','o'],
                  index=['B','A','C'])
text3

text4

两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会相加，没有对应的会变成空值NaN。
 

通过泰坦尼克号数据如何计算出在船上最大的家族有多少人？

max(text['兄弟姐妹个数']+text['父母小孩个数'])

10

学会使用Pandas describe()函数查看数据基本统计信息

frame2 = pd.DataFrame([[1.4, np.nan], 
                       [7.1, -4.5],
                       [np.nan, np.nan], 
                       [0.75, -1.3]
                      ], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])
frame2

调用 describe 函数，观察frame2的数据基本信息、

frame2.describe()

分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据，你能发现什么？

text['票价'].describe()

text['父母子女个数'].describe()

最后

以上就是幽默鱼为你收集整理的动手学数据分析 学习笔记（一）探索性数据分析的全部内容，希望文章能够帮你解决动手学数据分析 学习笔记（一）探索性数据分析所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。