PHP・MySQLによるDBへのHTMLデータの格納

ウェブページ (Yahooファイナンス)から、証券コードを引数にして任意の株価ページをダウンロードしてDBに格納しようとしています。

<質問>
この場合MySQLだけで済むのか、それともPHPも書かなければいけないのか、またどちらの場合もどのような処理をすればそれが実行できるのでしょうか。

<できていること>

MySQLでDB、テーブルおよびカラムを作成
yahooファイナンスの任意の株価ページ (https://stocks.finance.yahoo.co.jp/stocks/detail/?code=2678.T)をHTMLファイル(cssや画像などは不要)として手動でダウンロード

<できていないこと>

証券コード (上記の株価ページの場合'2678')を引数として、上記株価ページをダウンロードしDBに格納するコードを書く

カラムは
page// htmlファイルを格納

のみです。

<環境>

Mac
テキストエディタ: atom

私初学者であるため、なるべく単純な方法で解説いただけますと大変助かります。

よろしくお願い致します。

行動規範の内容に同意します

回答2件

ベストアンサー

技術的には、何らかのプログラム言語でスクレイピング（使いたい言語やOS+スクレイピングで検索するとサンプルなどが見つかります）を行い、実行結果をその言語からDBにアクセスして保存します。

ただ、YAHOOファイナンスの場合、
Yahoo!ファイナンス掲載情報の自動取得（スクレイピング）は禁止しています

と言う事なので、
「利用規約的に実行してはいけない」
「無視して実行した場合、アクセスブロックや法的措置などがとられる可能性がある」
となってしまいます。

投稿2017/08/26 13:19

tanat

総合スコア18713

kenya.yasuhara

2017/08/26 13:31

ご回答いただきありがとうございます。恥ずかしながらスクレイピングというのは初めて聞きました。それ以外にHTMLデータをDBへ格納する方法はないのでしょうか。

tanat

2017/08/26 14:12

HTMLを自動で取得、解析して保存する（＋法則に基づいて自動アクセスを繰り返す）という手法そのものがスクレイピングと呼ばれるので、「それ以外」となると、「基本的には存在しない」という回答になってしまいます。（YAHOOファイナンスの場合、データ自体を売り物にしているので、仮にデータ取得部分を人力で行ったとしても数が多ければアウトと判定され可能性があると思います。）テスト的に手動で少数のダウンロードしたHTMLを解析して、証券コードをキーにして検索できる仕組みを作ると言う事であれば利用規約にも抵触しないはずなので（と私は思います）、一度スクレイピングの手法を学んでみて、データの取得部分を手動に置き換えるというアプローチがいいかなと思います

行動規範の内容に同意します

MySQLのみの場合

ローカルにhtmlファイルがあるのであれば、MySQLのLOAD_FILE関数でファイル内容を読み込むことができますが、パーミッション等の問題があるのであまりおすすめしません。またHTTPクライアントではないため、URLの一部を動的に変更して取得しデータベースに格納するような目的では使用できません。

sql
1INSERT INTO `mytable` VALUES('page', LOAD_FILE('/Users/Documents/bar.html'))

MySQL+PHP

最も一般的な方法です。file_get_contents関数はURLからhtmlソースを取得し、文字列として返します。以下の例では、URLの一部を動的にしてhtmlソースを取得しています。あとはPDO等を使ってMySQLデータベースにinsertするコードを書くだけです。

php
1function get_html($stock) {
2    $url = "https://stocks.finance.yahoo.co.jp/stocks/detail/?code={$stock}.T";
3    $html = file_get_contents(url);
4    return $html;
5}
6
7$stock_id = "2678";
8$source = get_html($stock_id);
9
10// PDOの初期化は省略
11$stmt = $pdo->prepare("INSERT INTO `mytable` VALUES(:page, :html)");
12$stmt->bindValue(":page", $stock_id);
13$stmt->bindValue(":html", $source);
14$stmt->execute();
15