概述
3.1.3重复值处理
- 数据去重是处理重复值的主要方法，但如下几种情况慎重去重
- 样本不均衡时，故意重复采样的数据
- 分类模型，某个分类训练数据过少，可以采取简单复制样本的方法来增加样本数量
- 重复记录用户检测业务规则问题
- 事务型数据，尤其与钱相关的业务场景下出现重复数据时，如重复订单，重复出库申请
- 样本不均衡时，故意重复采样的数据
3.1.4数据去重API
dataframe.duplicated()
# 判断重复数据记录
dataframe.drop_duplicates() # 删除数据记录中所有列值相同的记录
# 判断重复数据
isDuplicated = df.duplicated()
# 判断重复数据记录
# 删除重复值
df.drop_duplicates()
# 删除数据记录中所有列值相同的记录
df.drop_duplicates(['col1'])
# 删除数据记录中col1值相同的记录
df.drop_duplicates(['col2'])
# 删除数据记录中col2值相同的记录
df.drop_duplicates(['col1', 'col2']) # 除数据记录中指定列（col1/col2）值相同的记录
最后
以上就是潇洒吐司为你收集整理的数据预处理—数据清洗（3）—重复值处理的全部内容，希望文章能够帮你解决数据预处理—数据清洗（3）—重复值处理所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复