【PHP7源码学习】2019-03-20 PHP词法分析

baiyan

全部视频：https://segmentfault.com/a/11...

原视频地址：http://replay.xesv5.com/ll/24...

基本概念

• 在PHP7中，当一个脚本运行请求或到来时，PHP代码首先会被加载到内存中，随后进行词法分析和语法分析并生成抽象语法树（AST），然后进行深度优先遍历并生成opcodes，并在zend虚拟机中执行这些opcode，返回最终的执行结果。
• 词法分析：它是编译过程的第一个阶段。这个阶段会将代码从左到右按字符扫描并读入，然后将代码划分成一个又一个的词法单元（token），方便后续的语法分析以及编译优化等操作。这就好比用菜刀去切一块肉，将这块大肉切分成一小块一小块肉，方便人们后续食用。可以使用Re2c、lex等自动化词法分析工具，来帮助我们完成。
• 语法分析：语法分析是编译过程的一个逻辑阶段。语法分析的任务是在词法分析的基础上将词法单元token，组合成各类语法短语，如“程序”，“语句”，“表达式”等等，它能够判断源程序在结构上是否正确。
• 在PHP中，使用的词法分析器是Re2c，语法分析器是Bison。
• 其实进行词法分析和语法分析并生成某种数据结构的过程，就是一个解码的过程。

之所以需要做这种从字符串到数据结构（AST）的转换，是因为编译器是无法直接操作“1+2”这样的字符串的。实际上，代码的本质根本就不是字符串，它本来就是一个具有复杂拓扑的数据结构，就像电路一样。“1+2”这个字符串只是对这种数据结构的一种“编码”，就像ZIP或者JPEG只是对它们压缩的数据的编码一样。
这种编码可以方便你把代码存到磁盘上，方便你用文本编辑器来修改它们（对人友好，方便人们编写代码，但是对编译器不友好），然而你必须知道，文本并不是代码本身。所以从磁盘读取了文本之后，你必须先“解码”，才能方便地操作代码的数据结构。比如，如果上面的Java代码生成的AST节点叫node，你就可以用node.operator来访问加号ADD，用node.left来访问1，node.right来访问2。这是很方便的。对于程序语言，这种解码的动作就叫做parsing，用于解码的那段代码就叫做parser。

• 关于语法分析与词法分析的具体概念解释，这篇文章写得较好：对 Parser 的误解
• 我们先利用PHP内置函数token_get_all()来取出一段PHP代码的token：

<?php
$lan = '<?php $a = 1; echo $a';
$tokens = token_get_all($lan);
foreach ($tokens as $token) {
    if (is_array($token)) {
        echo "Line {$token[2]}: ", token_name($token[0]), " ('{$token[1]}')", PHP_EOL;
    }
}

• 打印结果为：

Line 1: T_OPEN_TAG ('<?php ')
Line 1: T_VARIABLE ('$a')
Line 1: T_WHITESPACE (' ')
Line 1: T_WHITESPACE (' ')
Line 1: T_LNUMBER ('1')
Line 1: T_WHITESPACE (' ')
Line 1: T_ECHO ('echo')
Line 1: T_WHITESPACE (' ')
Line 1: T_VARIABLE ('$a')

• 观察以上结果，可以看有OPEN_TAG/VARIABLE/WHITESPACE等等词法单元token。

如何取出token

• 那么让我们你自己去设计一个算法，从一个字符串中识别并取出token，应该怎么做？

  • 使用两个指针，一个标记开始位置，一个往后挪，然后回溯。（较麻烦）
  • 使用正则表达式进行匹配
• 当用较简单的字符串匹配正则表达式的时候，可以用人眼很容易地看出来。但是如果用很复杂的字符串（成千上万行代码）去匹配一个正则，是相当麻烦并且非常慢的，编译原理中提出了这样一个概念用以解决这个问题：有穷状态机。
• 有穷状态机：必须有一个起始状态，用一个箭头加圆圈表示；也得有一个结束，用两个圆圈表示。 如果满足某个条件，就会从一个状态跃迁到另一个状态，也用箭头来表示。

例：观察下面这个正则表达式：

(a|b)*abb

• 根据这个正则表达式，我们可以画出它的有穷状态机：

- 对于a，只能到状态0或者1，不能到达结束的3，所以不匹配
- 对于abb，第一个a可以使状态0跃迁到1，第二个b可以从1跃迁到2，最后一个b结束，所以匹配
- 对于aabb，第一个a可以选择从0跃迁到0，第二个从0跃迁到1，后面两个b同上，匹配
- 对于cabb，第一个c就无法满足，不匹配

• 这里有个问题，输入第一个a的时候，可以从0跃迁到自己，也可以从0跃迁到1，所以这种状态机就叫不确定有穷状态机（NFA）
• NFA是有缺陷的，比如aabb，有可能一直从0跃迁到0，共重复了4次这样的操作，也没有到达最终的结束状态3。这就会导致本应该符合匹配要求的字符串，在不确定有穷状态机中，错误地被判定为不符合匹配要求。解决此问题的办法就是将不确定有穷状态机转化为确定有穷状态机（DFA）。

• 这样一来，一个确定的输入就对应着一个确定的输出（假设如给一个a，一定跃迁到1；给一个b，一定跃迁回0），不存在歧义问题。
• 但是，将一个NFA转化成DFA是相当复杂的，所以有工具已经为我们做好了这个事情：Re2c。你只需要输入一个正则表达式，就能够为你生成一个确定有穷状态机（DFA），在Re2c工具中以C/C++代码体现，详情见：re2c中文手册