Question

正向最大匹配分词,怎么做最快

Answer 1

首先粗分，按照句子把文本切成一个一个句子。然后把每个句子切成单字。
字典按照树形结构存储，比如这句话

“计划还有待”

首先查找“计”字开头的词，然后按照字典树形结构往下走一个节点，查找“计”后面一个字是“划”的词，然后又下沉一个节点，找“划”下面是“还”的词，找不到了，查找就结束。

去掉查找出来的第一个词“计划”，剩下“还有待”这几个字，继续按照这个步骤查找。