Question

词法分析的单词

Answer 1

这里的单词是一个字符串，是构成源代码的最小单位。从输入字符流中生成单词的过程叫作单词化（Tokenization），在这个过程中，词法分析器还会对单词进行分类。
词法分析器通常不会关心单词之间的关系（属于语法分析的范畴），举例来说：词法分析器能够将括号识别为单词，但并不保证括号是否匹配。
针对如下C语言表达式：
sum=3+2;将其单词化后可以得到下表内容： 语素 单词类型 sum 标识符 = 赋值操作符 3 数字 + 加法操作符 2 数字 ; 语句结束 单词经常使用正则表达式进行定义，像lex一类的词法分析器生成器就支持使用正则表达式。语法分析器读取输入字符流、从中识别出语素、最后生成不同类型的单词。其间一旦发现无效单词，便会报错。