token源码-token_bzh

词法分析和语法分析是编译原理中的两个重要概念，它们在编译过程中扮演不同的角色1词法分析LexicalAnalysis词法分析是编译器的第一阶段，也称为扫描Scanning或词法扫描Tokenization它的主要任务是将源代码转化为一个个的词法单元Token词法单元是具有独立含义的字符序列，比如