raccの使い方

Question

ruby版yaccであるraccの使い方についてです。

raccを使って自作言語を実装しなおそうと思っているのですが、使い方が今ひとつわかりません。
電卓を作るなど基本的な使い方は理解したつもりなのですが、rubyでいうなら
def,end,putsなどのデフォルトで機能をもった文字列と変数名などのそうでない文字列をうまく分けることができません。

そこでおすすめの資料(できればネット上の記事だとうれしいです)を教えてほしいです。
具体的に何かを作っていたり、レキサーの作り方も併せて書いていたりするものなどが特に読みたいです。
yaccの資料でも構いません。

また、こんな感じのエラーが出るのですがこのエラーコードの意味も教えてくださるとうれしいです。
parse error on value "hello" (WORD)

コードはこんな感じです。

Answer 1

参考資料ですが、以下をお勧めします。

• Racc ユーザマニュアル
• 『Rubyソースコード完全解説』 ※第２部「構文解析」

また、上のサイトの作者が書かれた書籍もお勧めします。(少し古いですが)

• 『Ruby を256倍使うための本 無道編』 青木峰郎著(ASCII)

---

「parse error on value "hello" (WORD) 」ですが、記号「WORD」,値「hello」のトークンが出現したところで構文解析エラーになりました、ということです。

考えられるのは、パーサ(の文法)が間違っているか、入力テキストが文法に違反しているか、のいずれかです。

例えば、以下のようなパーサがあったとします。

class MyParser
rule

  line : MARK WORD

end

---- inner
def parse(f)
  @q = []

  f.read.split.each do |s|
    case s
      when "*"     ; @q << [:MARK, s]
      when "hello" ; @q << [:WORD, s]
      else         ; @q << [s, s]
    end
  end

  do_parse
end

def next_token
  @q.shift
end

---- footer
MyParser.new.parse $<

この時、入力テキストが「* hello」であれば構文解析は成功しますが、「hello hello」である場合は同様のエラーメッセージを出して失敗します。(1番目の"hello"のところでエラーです)

パーサが仕様通りの動作で入力テキストが間違っているならば問題ありません。
ですが、本来「hello hello」も解析可能でなければいけないのであれば、文法を修正します。
この場合であれば rule 〜 end を、例えば以下のように修正します。

rule

  line : MARK WORD
       | WORD WORD

end

---

「def,end,putsなどの〜文字列と変数名などの〜文字列をうまく分けることができません。」ですが、ここはパーサというよりレキサが頑張るところだと思います。

Ruby には StringScanner クラスがライブラリにあるので、ご使用を検討されてはいかがでしょう。

• class StringScanner (Ruby 2.1.0 リファレンスマニュアル)

また、Ruby プログラム自体を解析する場合は Ripper クラスを使用することもできます。

• class Ripper (Ruby 2.1.0 リファレンスマニュアル)

標準ライブラリ以外では、Ruby版lex のような Rex というツールもあります。

• tenderlove/rexical (GitHub)

Answer 2

参考情報を紹介します。

• EBNFをRacc形式に変換 http://fenrir.naruoka.org/archives/000649.html

• Racc で遊ぼう http://www.mnet.ne.jp/~tnomura/racc.html

• Raccを使って言語処理系作ってた http://platformecho.blogspot.jp/2014/02/racc.html

• Practical use Racc — generator LALR (1) parsera for Ruby (http://sysmagazine.com/posts/164091/)[http://sysmagazine.com/posts/164091/]

• Rubyでコンパイラを作ってみる http://hake.syuriken.jp/ruby_de_compiler/

• Ruby Conf 12 - Rapid Programming Language Prototypes with Ruby RACC by Tom Lee https://www.youtube.com/watch?v=goQZps9vt3o

github で "require 'racc/parser.rb'" を検索して、racc 利用のプロジェクトをさがすのも良いかもしれません。

• https://github.com/search?l=ruby&o=desc&q=require+%27racc%2Fparser.rb%27&s=indexed&type=Code&utf8=%E2%9C%93