path: root/design.rst

Sonsi: Stupid and Obvious Non-recursive Scheme Interpreter
==========================================================

最终版的设计和特性

Model
-----
由于Scheme允许first-class procedures，我将所有参与求值的对象都抽象成 ``EvalObj`` ，然后再从中派生出较为具体的子类：

- EvalObj

  - BoolObj
  - CharObj
  - Container

    - Continuation
    - Environment
    - OptObj
    - PromObj
    - Pair
    - VecObj
  - NumObj
  - StrObj
  - SymObj
  - UnspecObj

其中OptObj描述了统一的算符接口，即s-expression中application的第一个的元素 ``opt``

::

    (opt arg_1, arg_2, arg_3 ... arg_n)

而OptObj又向下进行细分，有用户定义函数类 ``ProcObj`` , 简单内置函数类 ``BuiltinProcObj`` 以及特殊操作符类 ``SpecialOptObj`` 。
三者各自实现 ``OptObj`` 要求的界面

::

    vrtual Pair *callPair *args, Environment * &envt, Continuation * &cont, EvalObj ** &top_ptr, Pair *pc);

即根据求值器当前的状态以及传入的参数，计算出值后自行压栈，并返回下一步的PC(program counter)位置。
之所以不直接返回计算出的值，而是让类实现自行进行较为低层的入栈，是因为三个不同类型算符的特殊性。

像简单内置函数仅仅根据已经算好的各个参数计算出值，所以所有这类实现都是具有相同的routine，即传入参数，计算得值，再压回栈。因此没有必要从 ``BuiltinProcObj`` 根据每个要实现的built-in procedure派生一个类，而是共同采用 ``BuiltinProcObj`` 的壳子，装入不同的evaluation routine（类似回调函数）即可。所以繁琐的栈操作在 ``BuiltinProcObj`` 实现后，每次提供一个evaluation routine就能生成一个解决相应计算任务的实例，非常方便。
     
而较为复杂的 ``SpecialOptObj`` 则不同。例如 ``if`` 语句的行为模式就与 ``lambda`` 和 ``define`` 存在不小的差异，而且与普通procedure不同，它们是built-in macros，这也就是将call函数接口设计得较为generic的原因。以 ``if`` 举例，我从 ``SpecialOptObj`` 派生出一个针对 ``if`` 的类 ``SpecialOptIf`` ，它的 ``call`` 函数实现不再那么单纯。而是根据当前 ``if`` 的执行阶段决定应该做什么。对 ``if`` 而言，有三个可能的阶段：

- 调用 ``call`` 之前，屏蔽 <consequence> 和 <alternative> 的求值，只计算 <condition>
- 首次调用 ``call`` ，即根据传入的已经计算完毕的 <condition> 决定是计算 <consequence> 还是 <alternative>
- 再次调用 ``call`` ，求值器已经算好了答案，将其入栈即可。整个过程结束。

为了能够让求值器按照 ``if`` 的特殊行为模式运行，我们就需要将 ``call`` 接口设计成上文所述的通用形式。继续下一阶段只需将栈顶 ``if`` 恢复，并且将PC指向下一阶段的表达式入口。而如果要结束整个 ``if`` 反复过程，则不需要恢复 ``if`` , 读出返回地址，将结果入栈并且设PC为返回地址的下一条指令。

这种设计看上去有些繁琐，但事实上证明是有效而具备弹性的。例如我在实现一系列builin-procedure时，就不需要考虑这种入栈出栈的事情，因为它们的操作都是相同的，只是计算过程不同，所以只需编写相应的函数代入 ``BuiltinProcObj`` 中即可。而实现像 ``if`` 这种特殊的算符，有了generic的接口能够轻松地操作执行流程，虽然直接改动了求值器的流程，但是影响也是局部的。

值得注意的 ``if`` 三部曲中有一个在调用 ``call`` 之前的屏蔽操作。因为类似 ``if`` 还有 ``lambda`` 的 primitive-macro 并不是按照procedure的模式工作，而是有选择性地计算参数列表中的参数。关于这些的实现，我将在下面的Interpretation中详细阐述。

Interpretation
--------------

整个解释器的核心问题就是如何求值。按照实现上可以分为两种。

一种是开发快速，可读性好的递归实现。它的优点是代码简单，思路直接。实现方式就是扫描一个表达式，将相应的语法成分抽取出来，递归计算这些部分后再根据语义得出整个表达式的结果。它的优点有：

- 设计障碍小，容易实现
- 在复杂表达的处理上较为轻松
- 直接按照BNF文法硬编码

而缺点则是：

- 受到实现语言的限制（栈大小等）
- 在Scheme递归调用足够深时，程序会因为栈空间不足而退出，难以恢复和继续运行（当然应该有机制能捕捉即将发生的栈溢出，不过的确不是特别好的方法）
- 花销较大，效率不可观。直接实现的最坏复杂度是Scheme表达式长度乘以递归深度，最坏是O(n^2)量级。

因此在构建AST，求值过程以及外部表示（external representation）的生成中，我都采用非递归实现。值得一提的是之所以 external representation 要采取非递归实现，主要原因是circular structure的判定，例如下面的代码：

::

    define x '(1 . 2))
    (set-cdr! x x)
    (display x)

可以看出x实际上是一个自我指涉的结构，不妨将其视作一个无限长的list。而采用非递归的实现能较为容易地检测这种情形：

::

    execute: build/sonsi in.scm
    output: (1 #inf#)

类似的情况还出现在

::
    
    ; Circular promise
    (define ones (delay (cons 1 ones)))
    (display (car (force ones)))
    (display "\n")
    
    ; Circular vector
    (define x #(1))
    (vector-set! x 0 x)
    (display x)
    (display "\n")
    
    ; Indirectly circular pair
    (define x '(1 . 2))
    (define y (cons 1 x))
    (define z (cons 1 y))
    (define l (cons 1 z))
    (set-car! x l)
    (display x)
    (display "\n")

采用适当实现的sonsi均能产生正确的输出：

::

    1
    #(#inf#)
    ((1 1 1 #inf#) . 2)

非递归的AST解析过程较为简单，就不再赘述。这里重点介绍一下求值过程的设计。
在 ``eval.cpp`` 中的函数 ``run_repr`` 就是解释器的主要计算流程。可以看到是由一个while-loop反复进行栈操作实现的。
事实上，求值过程的实现略微带有VM（virtual machine)的味道，也就是说，设计一套byte-code，在把目前的实现中的一些操作加以细化，就能逐步改写成一个简单的compiler。由于这是第一次尝试完成这方面的工程，所以一开始就打算设计一个比较direct的interpreter。换而言之，虽然采用类似的结构，但是许多操作并没有被拆分成更为generic的基本指令。下文进行具体的阐释。

首先为了实现如同R5RS中所说的程序和数据同质化的效果，我直接使用了Scheme中的Pair来表示AST。这个实现有许多优点。
第一就是first-class procedure的实现便利。sonsi最初的实现是将 ``opt`` 算符作为AST子树的根，而各个参数作为儿子结点。这样的确在结构上能够反映一个procedure的调用的形式。然而让人陷入困窘的是根不一定就是立即值，而可能也是一个需要通过计算得出的procedure。那么将算符和参数用这种父子关系来表示无疑增加了算符的特异性，在实现上需要各种特判来进行弥补。另一个显而易见的问题就是，用这种结构存储表示表达式不利于 ``eval`` 的实现。 因此，最终我直接使用Pair构建的s-expression来表示AST。

其次是关于指令的问题。不像compiler能够直接将操作序列化，sonsi仅仅用在表达式上的结点地址来描述当前计算到的位置。即PC寄存器里存储的是一个 ``Pair *`` 。在s-expression的每个结点存储一个 ``next`` 域来指向下一条指令，在大多数情况下 ``next == cdr`` ，而当 ``cdr`` 是empty list时， ``next`` 是 ``NULL`` ，在特殊的语法结构，例如 ``if`` 中，通过在执行时临时修改 ``next`` 指针就能跳过相应参数的计算。 的确使用这个方式能够基本描述计算进行的状态，但并不充分。在 ``if`` 执行过程中， ``if`` 本身的执行的 **阶段** 也描述了计算的状态。这一点在compiler可以把 ``if`` 拆分为更简单的指令，而在直接解释的实现中，我通过在Continuation中用 ``Pair *state`` 记录当前call的阶段。 什么是Continuation呢？

Continuation类似与栈帧，记录Scheme中caller的状态，在call计算完成后，caller通过自身所处的Continuation能恢复出call发生前的envt，cont和pc寄存器的值。

Let's put them all together.

求值器拥有三个寄存器：

- envt 环境指针
- cont 当前Continuation
- pc program counter （当前指令位置）

envt提供了从Symbol到相应值的正确映射，不同的Environment实例通过 ``prev_envt`` 指针形成层级结构，并且从底而上地查询Symbol是否bound。这样局部变量能够产生shadow的效果，并且利用指针和GC，Environment层级结构能够节省大量空间。

cont指向当前的Continuation，而每个Continuation记录了：

- prev_cont 上一层调用 （父调用）
- envt 进入调用前的envt寄存器值
- pc 进入调用前pc寄存器的值
- prog caller的AST根结点（方便 ``if`` 等特殊算符解析参数）
- tail true 表示当前call是可以尾递归优化的，并且已经执行到tail expression

求值器拥有一个求值栈 ``eval_stack`` （与Continuation串联形成的调用“栈”不同，这个是用来计算表达式的）

主循环 ``while (cont == bcont)`` ，将一直进行，除非最低层的call已经退出。

- 考察当前pc指向的AST结点

  - pc 为 ``NULL``

    - 说明对于当前call来说各个参数已经计算完毕
    - 开始调用call，具体方法就是调用 ``OptObj`` 的通用接口 ``call`` 函数
    - ``call`` 函数借由多态性完成调用

      - 根据cont寄存器得到进入调用前的相关信息

        - 还有阶段没有完成：将pc设置为下一阶段的位置，更新 ``cont->state``
        - 所有阶段完成：根据cont恢复寄存器，设置合适的pc值，将cont设置为prev_cont

  - pc 不为 ``NULL``

    - 当前pc指向的是立即值：从envt中获取，或者直接使用
    - 当前pc指向一个call：

      - 新建Continuation，保存当前执行状态(pc, envt, cont)，更新cont
      - 调用prepare：供有些特殊语法（ ``if`` , ``lambda`` 等）重新设置 ``next`` 指针实现部分参数的屏蔽

具体实现请参考 ``eval.cpp`` ， 关于用户自定义函数以及其闭包的实现请参考 ``ProcObj`` 构造函数和其成员函数 ``call`` 。

Garbage Collection
------------------

sonsi的垃圾回收采用引用计数的方式，并且能够对循环引用进行正确的处理。

GC的实现最初采取集中式的记录，即采用STL的map将 ``EvalObj`` 的地址和计数关联，并且扫描出计数为0的 ``EvalObj`` 予以释放。
首先每次进行GC时需要对整个map进行检查相当花费时间，我们没有必要这样做。
事实上，增加一个pending_list，每当有 ``EvalObj`` 计数归0时，就加入pending_list，那么GC时只需扫描这个list即可。值得注意的是，pending_list只是记录了曾经计数一度减少到0的 ``EvalObj`` ，而这不一定说明它现在一定就是零引用（虽然大多数情况是，否则这个实现就不能提高效率了）。因此，在GC时需要re-check每个list中的元素。

通过这个优化，我自己写的（比较臃肿低效的）同一段八皇后Scheme代码解释时间从7s降低到了2s。

通过gprof可以看出，程序时间花销的瓶颈出现在了频繁的attach和expose上，毕竟它们都是在map上进行的操作。

继续分析，不难发现其实不用采用集中式的记录。集中式记录相比分散的最大好处是对象本身不需要存储count，在并不是所有对象都需要GC时可以节约对象上维护GC信息的花销。然而在sonsi中，每一个 ``EvalObj`` 都需要在GC中拥有相应的条目，所以不妨直接改造 ``EvalObj`` 结构，加入一个 ``GCRecord *gc_rec`` 域，指向对应的GC信息。这样就可以把集中式的map去掉，转化为利用内存寻址完成map本来要做的事情。这样就可以在较小的常数时间内对一个 ``EvalObj`` 的count进行操作。

这样还剩下最后一个问题——循环引用的解决。在sonsi的实现中，函数闭包会直接产生一个循环引用：即一个函数 ``ProcObj`` 依赖于它被创生出的环境 envt，而它诞生的环境本身有存在一个到该 ``ProcObj`` 的binding。要保证闭包的正常工作，以及环境的一致性，就不可避免造成了引用计数上的问题。

例如在我的Scheme八皇后实现中（详见test/robust_test.scm中部分代码）为了编写方便，采用了大量的闭包，因此必须解决这个问题。

通过查阅资料，我发现了一个介绍CPython中GC实现的文章，里面谈到了这个问题。其中采用了一个非常简洁有效的方法，其实是逆向思维：

- 会出现循环引用问题的一定是那种带有Container性质的对象（例如Scheme中的pair, list, vector等）
- 扫描出当前没有被回收的Container
- 增加一个额外标记gc_refs，初始值设置为当前引用计数值
- 遍历所有的Container，将其依赖的Container计数减1
- 再次扫描所有的Container，其中计数不为零的必然不能回收，并且它们直接或者间接依赖的也不能回收，其余的则一定可以回收。

一个问题是，采用分散的存储之后如何遍历所有的 ``EvalObj`` ? 其实只需要用链表把 ``GCRecord`` 串起来即可。
另外，不难看出，解决循环引用虽说是必要的，但耗时的确高于普通的回收过程（检查pending_list，均摊之后可以认为没有太大的时间消耗），因为每次要扫描所有对象。因此普通的回收可以较为频繁的进行，这样一方面普通回收不会因此提高overhead，另一方面降低了没有回收的对象数，加快了循环检查。而循环检查则需要等对象数堆积到了一定程度之后再开始进行，避免产生极高的overhead。

还有一个问题是safe point。虽然之前听说过这个概念，但是真正意识到重要性是在系统加入了tail-recursive优化之后。就是说在执行过程中，某对象引用计数一度降为零，而后来又可能被增加。那么如果GC发生在这中间，就会错判，因此回收时机的选择尤为重要。最终的实现是在每次离开调用，即根据cont寄存器指向的Continuation恢复调用前状态后进行collect。

built-in procedures中提供了修改阈值和查看未被回收的对象数的过程，见Features。

Features
--------

除了baseline之外，sonsi还大致有哪些extra features呢？

- Non-recursive evaluation
- Relatively high-efficient evaluation
- Huge input support （例如构造一个10^5长度的表达式，guile直接段错误，而sonsi能够处理。这个可以启发一些应用：解释其他程序生成的Scheme代码，所谓其他程序可能是user-friendly的GUI等）
- GC Built-ins ( ``gc-status`` 和 ``set-gc-resolve-threshold!`` )
- Accurate GC (Tested, using ``(set-gc-resolve-threshold! 0)`` at the end of the script)
- Vector support
- Nearly full literal/quote support ( ``#(1 2 3 (4 5 (6 7)) 8 9)'', `` '(a, b, c)``, etc.)
- Extensive interface (can easily write more built-ins)
- And more...

What is Not Supported (feasible in the future)
----------------------------------------------

- Macro
- Quasi-quotation