我是靠谱客的博主 大力歌曲,最近开发中收集的这篇文章主要介绍lightgbm 错误:ValueError: Unknown label type: 'continuous',觉得挺不错的,现在分享给大家,希望可以做个参考。
概述
之前在做阿里广告预测比赛,处理了半天,发现在使用 cv 方法验证模型,并使用lightgbm训练时候的发现了一个很奇怪的报错。
ValueError: Unknown label type: 'continuous'
What ??黑人问号脸??
百思不得其解。这是什么意思。百度无果,于是自己分析判断一下。
在我把全部数据的"instance_id"去重之后,这个问题消失了。
df.drop_duplicates('instance_id','first',True)
这是什么原因?? 于是我再往下看,下面我针对这个"instance_id"又做了一个“item_city_id”的one-hot处理,又用“instance_id”合并。
ont_hot_features = ['item_city_id']
ont_hot_list = df.loc[:,ont_hot_features + ['instance_id']]
ont_hot_list.loc[:,ont_hot_features] = ont_hot_list.loc[:,ont_hot_features].astype('str')
ont_hot_list = pd.get_dummies(ont_hot_list)
df = pd.merge(df,ont_hot_list,on='instance_id')
问题出现在merge这个函数和“instance_id”这个字段身上。
由于数据原因,instance_id 这个本该全局唯一的值在测试数据集和训练集上都有重复出现。所以在merge的时候,就算你指定了采用‘left’方式合并也会有笛卡尔积的重复。
所以我修改了下代码:
#需要ont-hot处理
ont_hot_features = ['item_city_id']
ont_hot_list = df.loc[:,ont_hot_features + ['instance_id']]
ont_hot_list.drop_duplicates('instance_id','first',True)
ont_hot_list.loc[:,ont_hot_features] = ont_hot_list.loc[:,ont_hot_features].astype('str')
ont_hot_list = pd.get_dummies(ont_hot_list)
df = pd.merge(df,ont_hot_list,'left',on='instance_id')
先对“instance_id”进行去重,再进行左边Join。这样便不会出现笛卡尔乘积的情况。
至于为什么 lightgbm 训练的时候会对这个情况报错,需要我再进一步研究。----------------------------------------------
后续:
搞明白了,因为在输入的训练label中带了None值。
原因是merge的时候,测试数据中的label为None,训练数据中的label为0或1,在两者merge的时候,测试数据混入到了训练数据中被送入模型训练,所以报错
最后
以上就是大力歌曲为你收集整理的lightgbm 错误:ValueError: Unknown label type: 'continuous'的全部内容,希望文章能够帮你解决lightgbm 错误:ValueError: Unknown label type: 'continuous'所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复