自然语言处理之机器处理流程
来自微信公众号人工智能头条为什么会有分词我们知道自然语言处理中词为最小的处理单元，当你的语料为句子、短文本、篇章时，我们要做的第一步就是分词。由于英语的基本组成单位就是词，分词是比较容易的。其句子基本上就是由标点符号、空格和词构成，那么只要根据空格和标点符号将词语分割即可。中文和英文就有很大不同了。虽然基本组成单位也是词，但是中文文本是由连续的字序列构成，词与词之间是没有天然的分隔...
