语言解析之回溯法和记忆法

黑色的影子

本篇文章想要聊聊语法解析中的回溯法和记忆法,看本篇文章需要了解以下概念:

1、编译中的递归下降识别器
2、词法分析与语法分析
3、bnf
4、LL(1)与LL(k)

语法规则越复杂,就越需要灵活地向前看k个字符,回溯法与LL(k)相比,相当于任意多的向前看符号。能满足更多的场景和需求,但回溯法有一个最大的问题是性能相对较差,所谓的记忆法就是在回溯法的基础上,对于已经计算过的结果进行缓存,以降低回溯法的时间复杂度。

首先我们看下一个基本的回溯法的代码结构,以便对于回溯法进行了解

function parse(){
    if(speculate1()){ // 尝试匹配推断1
        rule1()     // 推断成功之后,就执行rule1
    } else if(speculate2()){ //尝试匹配推断2
        rule2()
    } else if(speculate3()){ //尝试匹配推断3
        rule3()
    } else {
        throw new RecognitionError()
    }
}

function speculate1(){
    let success = true
    mark()      // 标记当前输入的位置
    try{
        rule1()  // 尝试规则1
    } catch(e){
        success = false
    }
    release()   // 放回当前输入的位置
    return success
}

可以看到回溯法相当强大,可以根据实际规则动态地任意向前看,但执行效率会低很多。

从上面的代码可以看出,即使是最顺利的情况下,每条规则的推演也会执行两次(rule1函数执行的两次)。

而在下面代码所示的bnf中,推演失败,在当前token的位置重新推演,很有可能使子规则执行很多次。

stat: list EOF
    | list '=' list

记忆法可以避免同样的输入,同样的规则,进行第二次的计算。

记忆法的核心是每条规则都有一个记忆映射表,状态分为三种情况unkonwn,failed,succeeded。

当没有解析到的时候,默认返回unknown,使用负数标识failed,使用一个正数标识succeded,该正数记录了解析成功的下一个词法单元下标。所以每条规则解析过一次之后,有起始的词法单元下标,就能找到规则结束的词法单元下标,就不用做重复的计算。

记忆法的代码框架如下:

function rule1(){
    let failed = false
    let startTokenIndex = getIndex()
    if(isSpeculating() && alreadyParsedRule(ruleMemo)) return
    try{
        _rule1()
    } catch(e){
        failed = true
        throw e
    } finally{
        // 无论推演成功还是失败,都对结果进行记录
        if(isSpeculating()){
            memoize(ruleMemo, startTokenIndex, failed)
        }
    }
}

这里要注意isSpeculating函数代表是否是推演阶段,推演阶段时,代码不能执行一些有副作用的操作,只有推演通过之后,才会执行一些有副作用的操作。

现在我们来实现alreadyParsedRule:

function alreadyParsedRule(memo){
    const startTokenIndex = getIndex()
    if(!memo[startTokenIndex]){
        return false
    }
    if(memo[startTokenIndex] < 0){
        thorw new RecognitionError()
    }
    const endTokenIndex = memo[startTokenIndex]
    // 跳过去,就像已经解析过这个规则一样
    advance(endTokenIndex)
    return true
}

alreadyParsedRule函数,就是从memo中取缓存的值,如果没有值就返回false,以便rule1函数中继续进行匹配,如果匹配失败,就抛出一个异常。如果匹配成功,就获得对应词法单元的index,将指针前移后,返回true。

如果不使用记忆法,回溯法的解析速度就会很慢,通过记忆法,只需要少量的内存,就能将整个解析过程的复杂度降低到线性水平。

阅读 299

我的前端学习
一个前端学习者的分享
891 声望
103 粉丝
0 条评论
你知道吗?

891 声望
103 粉丝
宣传栏