python fit transform_python 文本挖掘 vectorizer.fit_transform(corpus).toarray() 矩阵化数据异常？汗血宝马...

53 阅读 0 评论 35 点赞

例如我有一个语料：

# corpus = ["我来到北京清华大学", # 第一类文本切词后的结果，词之间以空格隔开

# "他来到了网易杭研大厦", # 第二类文本的切词结果

# "小明硕士毕业与中国科学院", # 第三类文本的切词结果

# "我爱北京天安门"] # 第四类文本的切词结果

这样的时候我运行：

vectorizer = TfidfVectorizer(min_df=1)

vectorizer.fit_transform(corpus)

print(vectorizer.transform(corpus).toarray()

出来正常的如下面：

[[0. 0.52640543 0. 0. 0. 0.52640543

0.66767854 0. 0. 0. ]

[0. 0. 0.52547275 0. 0. 0.41428875

0.52547275 0. 0. 0. 0. 0.52547275]

[0.4472136 0. 0. 0. 0.4472136 0.

0.4472136 0. 0.4472136 0.4472136 0. ]

[0. 0.6191303 0. 0.78528828 0. 0.

]]

但是当我的corpus 这个列表非常大的时候例如长度为1w的时候。

我在运行上面的代码，出来的矩阵每一行除了一个是 1 之外其余都是 0 ？

这是为什么呢？

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。