(在 Haskell 中使用 Haskell) 2. 词法分析

这是“Haskell in Haskell”系列的第二篇文章,主要介绍了Haskell编译器的词法分析阶段(lexer)的实现过程,包含以下主要内容:

  • 1 mile overview:介绍词法分析阶段的目标是将源代码中的字符分组为更结构化的标记流,以简化解析器的工作,同时提到了Haskell中对空白敏感的特性以及如何处理。
  • Making Tokens:定义了要生成的标记类型,如标识符、运算符、字面量等,并通过示例说明了如何将源代码分割成这些标记。
  • Generating Whitespace:添加了一个额外的阶段来处理Haskell中的空白,通过插入正确的分号和花括号来反映缩进的含义,使解析器更简洁和可维护。
  • Our First Stage:创建了一个简单的词法分析器“stub”,包括定义了Lexer模块、错误类型和标记类型,以及一个返回错误的lexer函数。
  • Making a CLI program:将词法分析器集成到命令行程序中,定义了Stage抽象类型来表示编译器的各个阶段,包括输入、输出和错误,并实现了相关的辅助函数,如stageEitherprintStagedErrormakeStage(>->)printStage等,用于处理命令行参数和运行不同阶段的操作。
  • How do you make a Lexer?:从理论上介绍了词法分析器的工作原理,将其视为一个有限状态机,通过状态转换和字符匹配来生成标记,并提到了与正则表达式的关系以及相关的资源。
  • Lexer Combinators:使用词法分析组合器(Lexer Combinators)来构建Haskell源代码的词法分析器,介绍了基本的定义、类型类(如FunctorApplicativeAlternative)的实现,以及如何使用这些组合器来创建更复杂的词法分析器。
  • Implementing the Lexer:实际定义了要生成的标记类型,并实现了一个能够生成这些标记的Lexer函数,通过各种子词法分析器(如keywordoperatorliteralname)的组合来处理不同类型的标记。
  • Handling Whitespace:介绍了Haskell中空白的处理方式,包括水平和垂直空白的不同作用,以及如何使用位置信息来推断必要的花括号和分号,通过定义新的RawToken类型和相关的词法分析器来处理空白和注释。
  • A Stateful Algorithm:提出了一个用于处理布局的状态机算法,包括跟踪布局(ExplicitImplicit)、期望布局(letwhereof)等状态信息,使用LayoutM类型来封装这个算法,并实现了一些基本的操作函数(如yieldTokenpushLayoutpopLayoutcurrentLayout等)。
  • The Algorithm Itself:详细描述了布局算法的具体实现,包括layout函数、step函数、closeImplicitLayouts函数、startExplicitLayout函数、startImplicitLayout函数和continueImplicitLayout函数等,这些函数共同处理了各种布局相关的情况,如开始、结束和继续布局等。
  • Some Examples:通过一些示例展示了词法分析器的实际工作效果,包括基本定义、嵌套let等情况,验证了词法分析器的正确性和完整性。
  • Conclusion:总结了文章的主要内容,强调了词法分析的重要性和实现细节,并提供了相关的资源和代码链接。
阅读 8
0 条评论