Question

怎么理解token,tokenize,tokenizer？

用python来处理网页上的数据时候。这三个词大量出现。怎么理解更好呢？

Answer 1

1、一种解释

token：令牌
tokenize：令牌化
tokenizer：令牌解析器

2、另一种翻译是：token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”。

在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上所有涉及到词法解析的源码都会用到tokenize。

在邱仲潘译的《Mastering Java 2》有这儿一段：

StreamTokenizer类根据用户定义的规则，从输入流中提取可识别的子串和标记符号，这个过程称为令牌化 （[i]tokenizing[/i]），因为流简化为了令牌符号。令牌（[i]token[/i]）通常代表关键字、变量名、字符串、直接量和大括号等 语法标点。