Parsletライブラリを使用したrubyでのparserにてエラーが起こる

Question

Parsletライブラリを使用してPEGを記述しparserを作っていたのですが、Parslet::Parsefaildというraiseエラーが起きてしまいます。
どなたか、ご教示いただけると、嬉しいです。

追記、解決しました。@asmさん、ありがとうございます。

Traceback (most recent call last):
        2: from parser.rb:66:in `<main>'
        1: from /Library/Ruby/Gems/2.6.0/gems/parslet-1.8.2/lib/parslet/atoms/base.rb:49:in `parse'
/Library/Ruby/Gems/2.6.0/gems/parslet-1.8.2/lib/parslet/cause.rb:70:in `raise': Expected at least 1 of LINE ' (Parslet::ParseFailed)
' at line 1 char 1.

以下、新しいエラーです。

Traceback (most recent call last):
	2: from temp.rb:64:in `<main>'
	1: from /Library/Ruby/Gems/2.6.0/gems/parslet-1.8.2/lib/parslet/atoms/base.rb:49:in `parse'
/Library/Ruby/Gems/2.6.0/gems/parslet-1.8.2/lib/parslet/cause.rb:70:in `raise': Extra input after last repetition at line 2 char 1. (Parslet::ParseFailed)

require 'parslet'
class NumericParser < Parslet::Parser
  idens = ["print"]
  root(:code)
  rule(:space){ str(" ") }
  rule(:spaces){ space.repeat(1) }
  rule(:space?){ spaces.maybe }
  rule(:return_mark){ str("\n") }
  rule(:returns){ return_mark.repeat(1) }
  rule(:return?){ returns.maybe }
  rule(:sprt?){ (return_mark | space).repeat(0)}
  rule(:chars){ str("a") | str("b") | str("c") | str("d") | str("e") | str("f") | str("g") | str("h") | str("i") | str("j") | str("k") | str("l") | str("m") | str("n") | str("o") | str("p") | str("q") | str("r") | str("s") | str("t") | str("u") | str("v") | str("w") | str("x") | str("y") | str("z") | str("A") | str("B") | str("C") | str("D") | str("E") | str("F") | str("G") | str("H") | str("I") | str("J") | str("K") | str("L") | str("M") | str("N") | str("O") | str("P") | str("Q") | str("R") | str("S") | str("T") | str("U") | str("V") | str("W") | str("X") | str("Y") | str("Z") | str("0") | str("1") | str("2") | str("3") | str("4") | str("5") | str("6") | str("7") | str("8") | str("9") | str(" ") | str("!") | str("\\"") | str("#") | str("$") | str("%") | str("&") | str("\'") | str("(") | str(")") | str("-") | str("^") | str("@") | str("[") | str(";") | str(":") | str("]") | str(",") | str(".") | str("/") | str("\\") | str("=") | str("~") | str("|") | str("`") | str("{") | str("+") | str("*") | str("}") | str("<") | str(">") | str("?") | str("_") | str("\n") | str("\s") | str("\t") }

  rule(:string) {
    str("\"") >> chars.repeat >> str("\"")
  }

  rule(:var) {
    match("[a-z]") >> match("[a-zA-Z1234567890]").repeat
  }

  rule(:integer) {
    match("[0-9]").repeat(1)
  }

  rule(:code) {
    (line >> str("\n")).repeat(1)
  }

  rule(:line) {
    func | assign | value | sprt?
  }

  rule(:func) {
    idens.map{|f| str(f)}.inject(:|) >> block
  }

  rule(:block){
    block_value | block_lists
  }

  rule(:block_value){
    str("(") >> sprt? >> line >> sprt? >> str(")")
  }

  rule(:block_lists){
    str("{") >> sprt? >> code >> sprt? >>str("}")
  }

  rule(:value){
    string | var | integer | func
  }
  
  rule(:assign) {
    var >> space? >> str("=") >> space? >> value
  }
end
f = open(ARGV[0])
code = []
while line = f.gets
  code.push(line)
end
f.close
NumericParser.new.parse(code.join("\n")+"\n")

テストデータです。

123

print(123)

print("aiueo")

print{
print("aiueo")
}

Answer 1

  root(:code)
  rule(:code) {
    (line >> str("\n")).repeat(1)
  }

  rule(:line) {
    func | assign | value
  }

空行で死にませんか？

---

• rule(:chars)にstr("")が混じっているとrepeatした時無限にメモリを食い潰します。
• matchは1文字以上にマッチさせる事はできません。

---

まずは、小さなテストからやってみるべきです。

np = NumericParser.new
np.integer.parse %(123)
np.string.parse %("aiueo")
np.func.parse %(print(123))
np.func.parse %(print("aiueo"))
np.parse <<CODE
print{
print("aiueo")
}
CODE

これで、どこが間違ったルールなのか分かるかと思います。

funcだけはちょっと面倒なので答えておきます。

  rule(:func) {
    idens.map{|f| str(f)}.inject(:|) >> block
  }

Comments

[light180]

> 空白で死ぬ
どう言うことですか？

[asm]

現象が再現できるテストデータがないと確実な事は言えませんが
空白行がテストデータに含まれた場合、このルールではマッチしない気がします。

code.join("\n")が期待通りの文字列かを検証し、ご提示願います。

[light180]

なるほど。更新しました。お願いします。
```
require 'parslet'
class NumericParser < Parslet::Parser
idens = ["print"]
root(:code)
rule(:space){ str(" ") }
rule(:spaces){ space.repeat(1) }
rule(:space?){ spaces.maybe }
rule(:return_mark){ str("\n") }
rule(:returns){ return_mark.repeat(1) }
rule(:return?){ returns.maybe }
rule(:sprt?){ (return_mark | space).repeat(0)}
rule(:chars){ str("!") | str("#") | str("$") | str("%") | str("&") | str("") | str("(") | str(")") | str("*") | str("+") | str(",") | str("-") | str(".") | str("/") | str("0") | match("[0-9]") | str(":") | str(";") | str("<") | str("=") | str(">") | str("?") | str("@") | match("[A-Z]") | str("[") | str("\") | str("]") | str("^") | str("_") | str("`") | match("[a-z]") | str("{") | str("|") | str("}") | str("~") | str("\\"") }

rule(:string) {
str("\"") >> chars.repeat >> str("\"")
}

rule(:var) {
match("[a-z]") >> match("[a-zA-Z1234567890]").repeat
}

rule(:integer) {
match("[0-9]")
}

rule(:code) {
(line >> str("\n")).repeat(1)
}

rule(:line) {
func | assign | value | sprt?
}

rule(:func) {
match("#{idens.join("|")}") >> block
}

rule(:block){
block_value | block_lists
}

rule(:block_value){
str("(") >> sprt? >> line >> sprt? >> str(")")
}

rule(:block_lists){
str("{") >> sprt? >> code >> sprt? >>str("}")
}

rule(:value){
string | var | integer | func
}

rule(:assign) {
var >> space? >> str("=") >> space? >> value
}
end
f = open(ARGV[0])
code = []
while line = f.gets
code.push(line)
end
f.close
NumericParser.new.parse(code.join("\n"))
```

[light180]

本文の方も、修正しておきますね。

[asm]

あ、わかりました。
code.join("\n")によって、最終行の改行が消えるのが問題です。
code.join("\n")+"\n"のように補うと良さげ

追記: 他にも問題ありそう。　とりあえず、テストデータの提示をお願いします。

[light180]

返信、ありがとうございます。直してみましたが、エラーは変わらず、出てしまいます。
テストデータなど、アップロードしました。（追記しました）

[light180]

ありがとうございます！！そのように、一部を指定してparseできるんですね。デバックに役立ちそうです。また、parsletの|をinjectで使えることに驚きました。お陰さまで、小さなテストではエラーが出ないようになりましたが、file指定したときに、エラーが出てしまいます。アドバイス頂けると、嬉しいです。

[asm]

ファイル読み込み部分が一行ずつ読み込んでいるのには理由があるのでしょうか？
code = open(ARGV[0], &:read)
NumericParser.new.parse(code)
でいいと思うのですが

理由あっての場合は
while line = f.gets
code.push(line.chomp)
end
にした方が素直なように思います。

[light180]

お返事、遅くなりすみません。
まだ、同じエラーが出てしまうのですが、お返事が遅れたこともありますので、ベストアンサーに選ばさせていただきます。
このエラーは別の質問で出そうと思います。
下にリンクを貼ったので、見ていただけたら嬉しいです。

[light180]

https://teratail.com/questions/232141?modal=q-comp