VB.NETでもパーサコンビネータを実装したい

はじめに

ヤフーでググったところ、今のところ誰もVBでパーサコンビネータを実装してないっぽかったので実装してみました。

実装にあたり、こちらのブログを参考にさせていただきました。感謝

blog.anatoo.jp

.NETのパーサコンビネータライブラリとしてはSpracheが有名ですが、SelectManyとクエリ構文でパーサの連結を行う機構が想像以上に複雑でちょっと何を言っているのかよくわからない状態なので今回は参考にするのはやめておきました。

github.com

パーサコンビネータとラムダ

ここではパーサは以下の引数を取り、以下の返り値を返す関数として定義します。

  • 引数
    • パース対象の文字列
    • パーサが解析を始める先頭からのオフセット
  • 返り値
    • パースが成功したか否か
    • パーサが消費した文字列(パーサの場合)
    • 内部のパーサの解析結果の列挙(コンビネータの場合)
    • 次に解析を行う先頭からのオフセット

また、今回はパーサをFunc(Of String, Integer, ParseResult)で表されるデリゲートとして実装します。

Public Class ParseResult

    Public ReadOnly Property Success() As Boolean
    Public ReadOnly Property Result() As String
    Public ReadOnly Property InnerResult() As IEnumerable(Of ParseResult)
    Public ReadOnly Property NextPosition() As Integer

    Public Sub New(success As Boolean, result As String, inner As IEnumerable(Of ParseResult), nextPosition As Integer)
        Me.Success = success
        Me.Result = result
        Me.InnerResult = If(inner, Enumerable.Empty(Of ParseResult)())
        Me.NextPosition = nextPosition
    End Sub

    Public Overrides Function ToString() As String
        Return $"[{Success}, {Result}, [{String.Join(",", InnerResult)}], {NextPosition}]"
    End Function

End Class

上記の例として、単純な文字列を解析するパーサを返す関数をメソッドします。

なお、ヘルパメソッドとして以下のメソッドが定義されているとします。 似たようなメソッドでMidがありますが、あちらは序数が1からで混乱のもとになるので使いませんでした。

Private Shared Function Substring(text As String, position As Integer, length As Integer) As String
    If text.Length > position + length Then
        Return text.Substring(position, length)
    ElseIf text.Length > position Then
        Return text.Substring(position)
    Else
        Return ""
    End If
End Function
Public Shared Function Token(word As String) As Func(Of String, Integer, ParseResult)
    Return Function(text As String, position As Integer) As ParseResult
               If Substring(text, position, word.Length) = word Then
                   Return New ParseResult(True, word, Nothing, position + word.Length)
               Else
                   Return New ParseResult(False, Nothing, Nothing, position)
               End If
           End Function
End Function

上記のメソッドはトークンを引数に取り、指定された文字列とオフセットからトークンに一致するかを判定するパーサを返します。 一致した場合は一致した箇所と新しいオフセットを返します。

Dim hoge  = parser.Token("hoge")
Console.WriteLine(hoge("hogehoge", 0))
[True, hoge, [], 4]

また、同様に指定された文字列中の文字かどうか判定するパーサを返すメソッドを定義します。

Public Shared Function [Char](chars As String) As Func(Of String, Integer, ParseResult)
    Return Function(text As String, position As Integer) As ParseResult
               Dim c = Substring(text, position, 1)

               If c <> "" AndAlso chars.Contains(c) Then
                   Return New ParseResult(True, c, Nothing, position + 1)
               Else
                   Return New ParseResult(False, Nothing, Nothing, position)
               End If
           End Function
End Function
Dim hoge  = parser.char("abc")
Console.WriteLine(hoge("abc", 0))
[True, a, [], 1]

ここでの基本的なパーサは以上です。あとはこれらをこねくり回して目的のパーサを組み立ててきます。

まずは選択を表すOrパーサです。 このメソッドは複数のパーサを引数にとり、先頭からマッチを繰り返しマッチに成功した時点でその結果を返すパーサを返します。

Public Shared Function [Or](ParamArray parsers As Func(Of String, Integer, ParseResult)()) As Func(Of String, Integer, ParseResult)
    Return Function(text As String, position As Integer) As ParseResult
               For Each it In parsers
                   Dim r = it(text, position)
                   If r.Success Then
                       Return r
                   End If
               Next

               Return New ParseResult(False, Nothing, Nothing, position)
           End Function
End Function
Dim hogeOrFuga  = Parser.Or(Parser.Token("hoge"), parser.Token("fuga"))
Console.WriteLine(hogeOrFuga("hogehoge", 0))
Console.WriteLine(hogeOrFuga("fugahoge", 0))
[True, hoge, [], 4]
[True, fuga, [], 4]

次に複数のパーサの連結を表すSeqです。 このメソッドは複数のパースを引数をとり、順にマッチを行いすべてのパーサが成功したらその結果を返すパーサを返します。

Public Shared Function Seq(ParamArray parsers As Func(Of String, Integer, ParseResult)()) As Func(Of String, Integer, ParseResult)
    Return Function(text As String, position As Integer) As ParseResult
               Dim result = New List(Of ParseResult)()
               Dim p = position

               For Each it In parsers
                   Dim r = it(text, p)

                   If r.Success Then
                       result.Add(r)
                       p = r.NextPosition
                   Else
                       Return New ParseResult(False, Nothing, Nothing, position)
                   End If
               Next

               Return New ParseResult(True, Nothing, result, p)
           End Function
End Function
Dim hogefuga= Parser.Seq(Parser.Token("hoge"), Parser.Token("fuga"))
Console.WriteLine(hogefuga("hogefuga", 0))
Console.WriteLine(hogefuga("fugahoge", 0))
[True, , [[True, hoge, [], 4],[True, fuga, [], 8]], 8]
[False, , [], 0]

Manyは0回以上の任意の回数の繰り返しを表します。

Public Shared Function Many(parser As Func(Of String, Integer, ParseResult)) As Func(Of String, Integer, ParseResult)
    Return Function(text As String, position As Integer) As ParseResult
               Dim result = New List(Of ParseResult)()
               Dim p = position

               While True
                   Dim r = parser(text, p)

                   If r.Success Then
                       result.Add(r)
                       p = r.NextPosition
                   Else
                       Exit While
                   End If
               End While

               Return New ParseResult(True, Nothing, result, p)
           End Function
End Function
Dim hoge = Parser.Many(Parser.Token("hoge"))
Console.WriteLine(hoge("", 0))
Console.WriteLine(hoge("hoge", 0))
Console.WriteLine(hoge("hogehoge", 0))
[True, , [], 0]
[True, , [[True, hoge, [], 4]], 4]
[True, , [[True, hoge, [], 4],[True, hoge, [], 8]], 8]

また、同様にOptionはあっても無くてもかまわない選択を表し、Lazy再帰的なパーサの定義を行う際にパーサの評価を遅延させるために使い、Accumlate入れ子になった結果を平滑化するのに用います。

Public Shared Function [Option](parser As Func(Of String, Integer, ParseResult)) As Func(Of String, Integer, ParseResult)
    Return Function(text As String, position As Integer) As ParseResult
               Dim r = parser(text, position)

               If r.Success Then
                   Return r
               Else
                   Return New ParseResult(True, Nothing, Nothing, position)
               End If
           End Function
End Function

Public Shared Function Lazy(f As Func(Of Func(Of String, Integer, ParseResult))) As Func(Of String, Integer, ParseResult)
    Return Function(text As String, position As Integer) As ParseResult
               Return f()(text, position)
           End Function
End Function

Public Shared Function Accumlate(parser As Func(Of String, Integer, ParseResult)) As Func(Of String, Integer, ParseResult)
    Return Function(text As String, position As Integer) As ParseResult
               Dim r = parser(text, position)

               If r.Success Then
                   Return Accumlate(r)
               Else
                   Return New ParseResult(False, Nothing, Nothing, position)
               End If
           End Function
End Function

入れ子の括弧の対応をとる単純な式のパーサ

を実装します。

まぁ、やってることは完全に参考サイトのVBへの焼き直しなんでアレがアレですね。

まずは数字と演算子をパースするパーサを定義します。 この辺は簡単ですね。

Property Number As Func(Of String, Integer, ParseResult) =
    Parser.Accumlate(Parser.Seq(Parser.Char("123456789"), Parser.Many(Parser.Char("0123456789"))))

Property [Operator] As Func(Of String, Integer, ParseResult) = Parser.Char("+-")

次に括弧に包まれた式をパースするパーサを定義します。

括弧はいらないので括弧の中身だけを取り出すパーサを定義します。 また、Expressionはまだ定義していないのでLazyでパーサの評価を実行時まで遅延させます。

Property Parenthesis As Func(Of String, Integer, ParseResult) = Parser.Lazy(
    Function() As Func(Of String, Integer, ParseResult)
        Return Function(text As String, position As Integer) As ParseResult
                   Dim p = Parser.Seq(Parser.Token("("), Expression, Parser.Token(")"))
                   Dim r = p(text, position)

                   If r.Success Then
                       Return r.InnerResult.Skip(1).First()
                   Else
                       Return New ParseResult(False, Nothing, Nothing, position)
                   End If
               End Function
    End Function)

オペランドは数字か括弧で包まれた式なので、それをパースするパーサを定義します。

Property Atom As Func(Of String, Integer, ParseResult) = Parser.Or(Number, Parenthesis)

あとは1+2+3

[True, , [[True, 1, [], 1],[True, +, [], 2],[True, 2, [], 3],[True, +, [], 4],[True, 3, [], 5]], 5]

となるように頑張ってパーサを実装します。

Property Expression As Func(Of String, Integer, ParseResult) =
    Function(text As String, position As Integer) As ParseResult
        Dim p = Parser.Seq(Atom, Parser.Many(Parser.Seq([Operator], Atom)))
        Dim r = p(text, position)

        If Not r.Success Then
            Return New ParseResult(False, Nothing, Nothing, position)
        End If

        Dim ir = r.InnerResult.ToList()

        If ir.Count = 1 Then
            Return ir(0)
        Else
            Dim rs = New List(Of ParseResult)()

            rs.Add(ir(0))
            For Each i In ir(1).InnerResult
                For Each it In i.InnerResult
                    rs.Add(it)
                Next
            Next

            Return New ParseResult(True, Nothing, rs, r.NextPosition)
        End If
    End Function

あとはパース結果を見やすくするメソッドと、括弧の対応を取りながら計算するメソッドを定義します。

Sub Display(result As ParseResult, level As Integer)
    If Not ReferenceEquals(result.Result, Nothing) Then
        Console.WriteLine($"{New String(" "c, level)} {result.Result}")
    Else
        For Each it In result.InnerResult
            Display(it, level + 1)
        Next
    End If
End Sub

Function Calc(results As IEnumerable(Of ParseResult)) As Integer
    Dim r = New Queue(Of ParseResult)(results)
    Dim sum = 0

    Dim first = r.Dequeue()
    If Not ReferenceEquals(first.Result, Nothing) Then
        sum += Integer.Parse(first.Result)
    Else
        sum += Calc(first.InnerResult)
    End If

    While r.Count <> 0
        Dim op = r.Dequeue().Result
        Dim operand = r.Dequeue()
        Dim operandNum As Integer

        If Not ReferenceEquals(operand.Result, Nothing) Then
            operandNum = Integer.Parse(operand.Result)
        Else
            operandNum = Calc(operand.InnerResult)
        End If

        If op = "+" Then
            sum += operandNum
        Else
            sum -= operandNum
        End If
    End While

    Return sum
End Function
Dim r = Expression("1+2+(3+(5-6))", 0)
Console.WriteLine(r)

Display(r, 0)
Console.WriteLine($"result: {Calc(r.InnerResult)}")
  1
  +
  2
  +
   3
   +
    5
    -
    6
result: 5

正しくパースと計算が出来ているっぽいです。

おわりに

250行程度のコードでも再帰的な構造を持つ構文を解析できました。

今回実装したパーサコンビネータはパース結果を他のオブジェクトへマップする機能を完全にオミットしたり静的型付け言語の制約上結果が入れ子になって扱いずらい等、あまり完成度は高くありませんがパーサコンビネータのコンセプトを理解するのには十分だと思います。って偉そうなこと書いてますが、完全に参考サイトの受け売りなのでアレですが、まぁ弊社自身もなるほどなぁといった感じです。

実際に使用する場合はSprache等のライブラリを使うといい感じになると思います。