ruby(nokogiri)で横断検索機能を作りたい

Question

映画やドラマを検索した時にどのVODで視聴できるのかわかるサイトを作りたいです。（justwatchのようなサイト）

スクレイピングで作りたいのですがどのようにすれば様々なタイトルからvodを調べられる検索窓を作れるのか分かりません。

require 'open-uri'
require 'nokogiri'

@url = 'http://www.yahoo.co.jp/'

@html = open(@url) do |f|

@charset = f.charset f.read end

@doc = Nokogiri::HTML.parse(@html, nil, @charset)

puts @doc.title

このようなものを見つけたのですがurl以外の部分をどのように変更すればいいのかわかりません。

色々調べていたのですがよくわからなかったので、サンプルや例のコードがあればすごく助かります。

Answer 1

手順としては、
1．そのページのHTMLを見て、希望の情報を探す
2．その場所をxpath等で一意に指定する方法を考える
3．それを元にコードを書く

Yahooトップページから、ニュースヘッドラインを抜き出すあたりから始めてはどうでしょうか？
#追記
あと、JavaScriptを使って作成されているタグであれば、Mechanize+Nokogiriでは取得できません。JavaScriptを実行することが必要となるためです。
・ブラウザを使う（seleniumライブラリを使う）
・node.jsなどのJavaScriptエンジンを使う
などの方法があります。

JavaScriptを使って作り出されたタグかどうか判断する方法：
ブラウザのページソースを表示する機能では表示されないが、開発者ツールを使ってHTMLを見ると存在するというものが、JavaScriptが作ったものです。

Comments

[pokerStars]

検索ワードを所得してキーワードごとに検索結果が変わるようにするには、まず検索窓のところをgooglecromeのディベロッパーツールで検証してxpathでコピーをする流れでしょうか？

[otn]

ちょっと意味がよく分かりませんが、フォームを実行したいのなら、Nokogiriだけでは駄目で、Mechanize等を使います。

[pokerStars]

なるほどです！ありがとうございました！！

[otn]

追記も参照のこと。

[pokerStars]

追記ありがとうございます。とても分かりやすいです！
これを参考に作ってみようと思います！