Question

Python3 有什么推荐的中文分词器

Answer 1

这类分词基于人工标注的词性和统计特征，对中文进行建模，即根据观测到的数据（标注好的语料）对模型参数进行估计，即训练。
在分词阶段再通过模型计算各种分词出现的概率，将概率最大的分词结果作为最终结果。
常见的序列标注模型有HMM和CRF。