Rubyを用いてのクローリングについて

Question

はじめまして!!
現在、クローラを用いてヤフーファイナンスから全銘柄の基本情報(株価、PER,PBRなど)を取得しようと考えています。
どう展開していけばよいでしょうか??

ご教授のほど、よろしくお願いしますm(_ _)m

Answer 1

本題とはずれますが、公式でCSVを提供していますのでこれを利用する方法もあります(有料)
http://info.finance.yahoo.co.jp/vip/pr/

またクローリングした情報をどう利用されるかわかりませんが、他の場所での公開(転載)などは禁止されていると記載がありますので、十分ご注意ください。（ローカルのPC上で、個人的な分析に利用する程度でしたら問題にはならないと思いますが）
http://www.yahoo-help.jp/app/answers/detail/p/546/a_id/45297
http://www.yahoo-help.jp/app/answers/detail/p/546/a_id/76831/~/yahoo!%E3%83%95%E3%82%A1%E3%82%A4%E3%83%8A%E3%83%B3%E3%82%B9%E3%81%AE%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E5%88%A9%E7%94%A8%E3%81%97%E3%81%9F%E3%81%84

これらの情報はYahoo!社がお金を出して他社から購入している情報や、自社でコストをかけて加工・開発された情報であふれていますので、決して無料で作られた物ではありません。その点を十分留意されないと、大変なことになる場合があります。刑事ないし民事での訴訟もあるでしょう。

Answer 2

... 全銘柄の基本情報 ...

http://www.tse.or.jp/market/data/listed_companies/ に企業コードの一覧があります。
このコードで 対象としたい企業全体にたいして、クローリングを繰り返せばよいのでは？

企業のデータは yahoo ファイナンス以外からもいろいろ取得できます。
たとえば、
金融庁のページ
からでは、４半期報告書を取得することもできます。
この報告書(xml 文書) を処理すると、

• アップルとグーグルを財務諸表で比較する http://business.nikkeibp.co.jp/article/manage/20100305/213172/

にあるような財務状況の比較図を自動生成することも可能になります。