VB.NETでもパーサコンビネータを実装したい
はじめに
ヤフーでググったところ、今のところ誰もVBでパーサコンビネータを実装してないっぽかったので実装してみました。
実装にあたり、こちらのブログを参考にさせていただきました。感謝
.NETのパーサコンビネータライブラリとしてはSpracheが有名ですが、SelectManyとクエリ構文でパーサの連結を行う機構が想像以上に複雑でちょっと何を言っているのかよくわからない状態なので今回は参考にするのはやめておきました。
パーサコンビネータとラムダ
ここではパーサは以下の引数を取り、以下の返り値を返す関数として定義します。
- 引数
- パース対象の文字列
- パーサが解析を始める先頭からのオフセット
- 返り値
- パースが成功したか否か
- パーサが消費した文字列(パーサの場合)
- 内部のパーサの解析結果の列挙(コンビネータの場合)
- 次に解析を行う先頭からのオフセット
また、今回はパーサをFunc(Of String, Integer, ParseResult)
で表されるデリゲートとして実装します。
Public Class ParseResult Public ReadOnly Property Success() As Boolean Public ReadOnly Property Result() As String Public ReadOnly Property InnerResult() As IEnumerable(Of ParseResult) Public ReadOnly Property NextPosition() As Integer Public Sub New(success As Boolean, result As String, inner As IEnumerable(Of ParseResult), nextPosition As Integer) Me.Success = success Me.Result = result Me.InnerResult = If(inner, Enumerable.Empty(Of ParseResult)()) Me.NextPosition = nextPosition End Sub Public Overrides Function ToString() As String Return $"[{Success}, {Result}, [{String.Join(",", InnerResult)}], {NextPosition}]" End Function End Class
上記の例として、単純な文字列を解析するパーサを返す関数をメソッドします。
なお、ヘルパメソッドとして以下のメソッドが定義されているとします。
似たようなメソッドでMid
がありますが、あちらは序数が1からで混乱のもとになるので使いませんでした。
Private Shared Function Substring(text As String, position As Integer, length As Integer) As String If text.Length > position + length Then Return text.Substring(position, length) ElseIf text.Length > position Then Return text.Substring(position) Else Return "" End If End Function
Public Shared Function Token(word As String) As Func(Of String, Integer, ParseResult) Return Function(text As String, position As Integer) As ParseResult If Substring(text, position, word.Length) = word Then Return New ParseResult(True, word, Nothing, position + word.Length) Else Return New ParseResult(False, Nothing, Nothing, position) End If End Function End Function
上記のメソッドはトークンを引数に取り、指定された文字列とオフセットからトークンに一致するかを判定するパーサを返します。 一致した場合は一致した箇所と新しいオフセットを返します。
Dim hoge = parser.Token("hoge") Console.WriteLine(hoge("hogehoge", 0))
[True, hoge, [], 4]
また、同様に指定された文字列中の文字かどうか判定するパーサを返すメソッドを定義します。
Public Shared Function [Char](chars As String) As Func(Of String, Integer, ParseResult) Return Function(text As String, position As Integer) As ParseResult Dim c = Substring(text, position, 1) If c <> "" AndAlso chars.Contains(c) Then Return New ParseResult(True, c, Nothing, position + 1) Else Return New ParseResult(False, Nothing, Nothing, position) End If End Function End Function
Dim hoge = parser.char("abc") Console.WriteLine(hoge("abc", 0))
[True, a, [], 1]
ここでの基本的なパーサは以上です。あとはこれらをこねくり回して目的のパーサを組み立ててきます。
まずは選択を表すOr
パーサです。
このメソッドは複数のパーサを引数にとり、先頭からマッチを繰り返しマッチに成功した時点でその結果を返すパーサを返します。
Public Shared Function [Or](ParamArray parsers As Func(Of String, Integer, ParseResult)()) As Func(Of String, Integer, ParseResult) Return Function(text As String, position As Integer) As ParseResult For Each it In parsers Dim r = it(text, position) If r.Success Then Return r End If Next Return New ParseResult(False, Nothing, Nothing, position) End Function End Function
Dim hogeOrFuga = Parser.Or(Parser.Token("hoge"), parser.Token("fuga")) Console.WriteLine(hogeOrFuga("hogehoge", 0)) Console.WriteLine(hogeOrFuga("fugahoge", 0))
[True, hoge, [], 4] [True, fuga, [], 4]
次に複数のパーサの連結を表すSeq
です。
このメソッドは複数のパースを引数をとり、順にマッチを行いすべてのパーサが成功したらその結果を返すパーサを返します。
Public Shared Function Seq(ParamArray parsers As Func(Of String, Integer, ParseResult)()) As Func(Of String, Integer, ParseResult) Return Function(text As String, position As Integer) As ParseResult Dim result = New List(Of ParseResult)() Dim p = position For Each it In parsers Dim r = it(text, p) If r.Success Then result.Add(r) p = r.NextPosition Else Return New ParseResult(False, Nothing, Nothing, position) End If Next Return New ParseResult(True, Nothing, result, p) End Function End Function
Dim hogefuga= Parser.Seq(Parser.Token("hoge"), Parser.Token("fuga")) Console.WriteLine(hogefuga("hogefuga", 0)) Console.WriteLine(hogefuga("fugahoge", 0))
[True, , [[True, hoge, [], 4],[True, fuga, [], 8]], 8] [False, , [], 0]
Many
は0回以上の任意の回数の繰り返しを表します。
Public Shared Function Many(parser As Func(Of String, Integer, ParseResult)) As Func(Of String, Integer, ParseResult) Return Function(text As String, position As Integer) As ParseResult Dim result = New List(Of ParseResult)() Dim p = position While True Dim r = parser(text, p) If r.Success Then result.Add(r) p = r.NextPosition Else Exit While End If End While Return New ParseResult(True, Nothing, result, p) End Function End Function
Dim hoge = Parser.Many(Parser.Token("hoge")) Console.WriteLine(hoge("", 0)) Console.WriteLine(hoge("hoge", 0)) Console.WriteLine(hoge("hogehoge", 0))
[True, , [], 0] [True, , [[True, hoge, [], 4]], 4] [True, , [[True, hoge, [], 4],[True, hoge, [], 8]], 8]
また、同様にOption
はあっても無くてもかまわない選択を表し、Lazy
は再帰的なパーサの定義を行う際にパーサの評価を遅延させるために使い、Accumlate
は入れ子になった結果を平滑化するのに用います。
Public Shared Function [Option](parser As Func(Of String, Integer, ParseResult)) As Func(Of String, Integer, ParseResult) Return Function(text As String, position As Integer) As ParseResult Dim r = parser(text, position) If r.Success Then Return r Else Return New ParseResult(True, Nothing, Nothing, position) End If End Function End Function Public Shared Function Lazy(f As Func(Of Func(Of String, Integer, ParseResult))) As Func(Of String, Integer, ParseResult) Return Function(text As String, position As Integer) As ParseResult Return f()(text, position) End Function End Function Public Shared Function Accumlate(parser As Func(Of String, Integer, ParseResult)) As Func(Of String, Integer, ParseResult) Return Function(text As String, position As Integer) As ParseResult Dim r = parser(text, position) If r.Success Then Return Accumlate(r) Else Return New ParseResult(False, Nothing, Nothing, position) End If End Function End Function
入れ子の括弧の対応をとる単純な式のパーサ
を実装します。
まぁ、やってることは完全に参考サイトのVBへの焼き直しなんでアレがアレですね。
まずは数字と演算子をパースするパーサを定義します。 この辺は簡単ですね。
Property Number As Func(Of String, Integer, ParseResult) = Parser.Accumlate(Parser.Seq(Parser.Char("123456789"), Parser.Many(Parser.Char("0123456789")))) Property [Operator] As Func(Of String, Integer, ParseResult) = Parser.Char("+-")
次に括弧に包まれた式をパースするパーサを定義します。
括弧はいらないので括弧の中身だけを取り出すパーサを定義します。
また、Expression
はまだ定義していないのでLazy
でパーサの評価を実行時まで遅延させます。
Property Parenthesis As Func(Of String, Integer, ParseResult) = Parser.Lazy( Function() As Func(Of String, Integer, ParseResult) Return Function(text As String, position As Integer) As ParseResult Dim p = Parser.Seq(Parser.Token("("), Expression, Parser.Token(")")) Dim r = p(text, position) If r.Success Then Return r.InnerResult.Skip(1).First() Else Return New ParseResult(False, Nothing, Nothing, position) End If End Function End Function)
オペランドは数字か括弧で包まれた式なので、それをパースするパーサを定義します。
Property Atom As Func(Of String, Integer, ParseResult) = Parser.Or(Number, Parenthesis)
あとは1+2+3
が
[True, , [[True, 1, [], 1],[True, +, [], 2],[True, 2, [], 3],[True, +, [], 4],[True, 3, [], 5]], 5]
となるように頑張ってパーサを実装します。
Property Expression As Func(Of String, Integer, ParseResult) = Function(text As String, position As Integer) As ParseResult Dim p = Parser.Seq(Atom, Parser.Many(Parser.Seq([Operator], Atom))) Dim r = p(text, position) If Not r.Success Then Return New ParseResult(False, Nothing, Nothing, position) End If Dim ir = r.InnerResult.ToList() If ir.Count = 1 Then Return ir(0) Else Dim rs = New List(Of ParseResult)() rs.Add(ir(0)) For Each i In ir(1).InnerResult For Each it In i.InnerResult rs.Add(it) Next Next Return New ParseResult(True, Nothing, rs, r.NextPosition) End If End Function
あとはパース結果を見やすくするメソッドと、括弧の対応を取りながら計算するメソッドを定義します。
Sub Display(result As ParseResult, level As Integer) If Not ReferenceEquals(result.Result, Nothing) Then Console.WriteLine($"{New String(" "c, level)} {result.Result}") Else For Each it In result.InnerResult Display(it, level + 1) Next End If End Sub Function Calc(results As IEnumerable(Of ParseResult)) As Integer Dim r = New Queue(Of ParseResult)(results) Dim sum = 0 Dim first = r.Dequeue() If Not ReferenceEquals(first.Result, Nothing) Then sum += Integer.Parse(first.Result) Else sum += Calc(first.InnerResult) End If While r.Count <> 0 Dim op = r.Dequeue().Result Dim operand = r.Dequeue() Dim operandNum As Integer If Not ReferenceEquals(operand.Result, Nothing) Then operandNum = Integer.Parse(operand.Result) Else operandNum = Calc(operand.InnerResult) End If If op = "+" Then sum += operandNum Else sum -= operandNum End If End While Return sum End Function
Dim r = Expression("1+2+(3+(5-6))", 0) Console.WriteLine(r) Display(r, 0) Console.WriteLine($"result: {Calc(r.InnerResult)}")
1 + 2 + 3 + 5 - 6 result: 5
正しくパースと計算が出来ているっぽいです。
おわりに
250行程度のコードでも再帰的な構造を持つ構文を解析できました。
今回実装したパーサコンビネータはパース結果を他のオブジェクトへマップする機能を完全にオミットしたり静的型付け言語の制約上結果が入れ子になって扱いずらい等、あまり完成度は高くありませんがパーサコンビネータのコンセプトを理解するのには十分だと思います。って偉そうなこと書いてますが、完全に参考サイトの受け売りなのでアレですが、まぁ弊社自身もなるほどなぁといった感じです。
実際に使用する場合はSprache等のライブラリを使うといい感じになると思います。