NLP文本处理的流程文本处理流程
文本处理流程首先先看一个整体的流程图原始文本：从网页、新闻或者指定资源获取的没有经过处理的原始文本数据。分词：一般分为英文和中文，英文相对较简单，多数通过空格或者其他标点符号就可以，而中文相对困难。清洗： 1.无用的标签，如：html；2. 特殊符号，如！；3. 停用词，如，英文中的a， an，the；4.大写转小写，标准化：主要用在英文语料中，把多个单词转换成统一的单词，简单的说就是同义词转换，把相同意思的单词都转换成统一的一个单词。特征提取：用常用的技术如：tf-idf，word2vec
