文本处理流程
- 首先先看一个整体的流程图
- 原始文本：从网页、新闻或者指定资源获取的没有经过处理的原始文本数据。
- 分词：一般分为英文和中文，英文相对较简单，多数通过空格或者其他标点符号就可以，而中文相对困难。
- 清洗： 1.无用的标签，如：html；2. 特殊符号，如！；3. 停用词，如，英文中的a， an，the；4.大写转小写，
- 标准化：主要用在英文语料中，把多个单词转换成统一的单词，简单的说就是同义词转换，把相同意思的单词都转换成统一的一个单词。
- 特征提取：用常用的技术如：tf-idf，word2vec等将标准化的string数据转换成向量，用于输入模型进行训练。
- 建模：搭建模型。
- 评估：评估模型的好坏。
最后
以上就是健康小笼包最近收集整理的关于NLP文本处理的流程文本处理流程的全部内容，更多相关NLP文本处理内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复