编译器设计: 我们为什么需要 Tokennizer (分词器) ?
2024-03-24
阅读 1 分钟
507我正在设计和编写一门编程语言 Styio. 在项目之初, 我就有所疑惑: 一个解析器 (Parser) 一般由 Lexer 和 Tokenizer 两部分组成, 其中 Lexer 的存在毋庸置疑, 总要先解析字符串才能从中提取语义信息, 这很好理解; 不过, Tokenizer 的存在价值却并不高, 因为 Lexer 可以直接从字符串生成 AST (抽象语法树, Abstract Syntax...