我是靠谱客的博主 大力歌曲,最近开发中收集的这篇文章主要介绍lightgbm 错误:ValueError: Unknown label type: 'continuous',觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

之前在做阿里广告预测比赛,处理了半天,发现在使用 cv 方法验证模型,并使用lightgbm训练时候的发现了一个很奇怪的报错。

ValueError: Unknown label type: 'continuous'

What ??黑人问号脸??

百思不得其解。这是什么意思。百度无果,于是自己分析判断一下。

在我把全部数据的"instance_id"去重之后,这个问题消失了。

df.drop_duplicates('instance_id','first',True)

这是什么原因?? 于是我再往下看,下面我针对这个"instance_id"又做了一个“item_city_id”的one-hot处理,又用“instance_id”合并。

ont_hot_features = ['item_city_id']
ont_hot_list = df.loc[:,ont_hot_features + ['instance_id']]
ont_hot_list.loc[:,ont_hot_features] = ont_hot_list.loc[:,ont_hot_features].astype('str')
ont_hot_list = pd.get_dummies(ont_hot_list)
df = pd.merge(df,ont_hot_list,on='instance_id')

问题出现在merge这个函数和“instance_id”这个字段身上。

由于数据原因,instance_id 这个本该全局唯一的值在测试数据集和训练集上都有重复出现。所以在merge的时候,就算你指定了采用‘left’方式合并也会有笛卡尔积的重复。

所以我修改了下代码:

#需要ont-hot处理
    ont_hot_features = ['item_city_id']
    ont_hot_list = df.loc[:,ont_hot_features + ['instance_id']]
    ont_hot_list.drop_duplicates('instance_id','first',True)
    ont_hot_list.loc[:,ont_hot_features] = ont_hot_list.loc[:,ont_hot_features].astype('str')
    ont_hot_list = pd.get_dummies(ont_hot_list)
    df = pd.merge(df,ont_hot_list,'left',on='instance_id')

先对“instance_id”进行去重,再进行左边Join。这样便不会出现笛卡尔乘积的情况。

至于为什么 lightgbm 训练的时候会对这个情况报错,需要我再进一步研究。

----------------------------------------------

后续:

搞明白了,因为在输入的训练label中带了None值。

原因是merge的时候,测试数据中的label为None,训练数据中的label为0或1,在两者merge的时候,测试数据混入到了训练数据中被送入模型训练,所以报错


最后

以上就是大力歌曲为你收集整理的lightgbm 错误:ValueError: Unknown label type: 'continuous'的全部内容,希望文章能够帮你解决lightgbm 错误:ValueError: Unknown label type: 'continuous'所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(44)

评论列表共有 0 条评论

立即
投稿
返回
顶部