PHP による 外部サイトの指定範囲の抽出について

Question

http://urx3.nu/tTmD
上記サイトの表データを 抽出することは可能ですか？

file_get_contents や file_get_contents * php ではできませんでした。
CSRFも実装されていそうですのでやはり無理でしょうか？

もし可能なら ヒントや実際のソースをいただければ幸いです。

Answer 1

とりあえず大まかな流れを書きます。

###リクエスト方法の特定
対象のページoutagesの描画タイミングがテーブル外、テーブル内のデータと別々だったので
AJAXでデータを取得しているのかな？と思いました。

そこでブラウザのWebコンソールを開きページをリロードします。
（開発者ツールだったりと多少の呼び方の違いはありますが
主要ブラウザにはまず同じような機能が用意されています）

すると同階層のoutages_ajaxにリクエストが走っていることが分かりました。
レスポンスを見ると中身はjson形式のデータで、期待通りテーブルに表示されていたデータそのものです。
AJAXのURIに直接アクセスするとエラー画面が表示されます。
やはり所定の手順をふまないといけないようです。

リクエスト内容を確認するとメソッドは「POST」でcmd, limit, _csrfなどの
パラメータが送られていることが確認できました。_csrfの値はフォームに
埋め込まれている値と一致します。また、クッキーも要求されているようなので、
これもあらかじめ受け入れておく必要があるようです。

##リクエスト方法のまとめ
以上のことをまとめると、まずoutagesにアクセスして_crsfとクッキーを発行してもらい、
それらのデータをoutages_ajaxにPOSTすれば良さそうです。

いろいろと設定する必要があるので、file_get_contentsを使うよりもcURLのほうが簡単かもしれません。
（何度か記事を目にしただけで実際に試した事は無いですが、一応file_get_contentsでも
POSTメソッドを送ったりできるらしいです）

###リクエスト1回目「_crsfの値を取得」
_crsfとクッキーを発行してもらいます。

1. cURLでクッキーを受け入れるよう設定
2. 念のためUserAgentも設定したい
3. cURLでoutagesをGET
4. 取得したクッキーは保存する
5. 取得したHTMLから_csrfの値を取得（正規表現でもDOMでも取れれば何でもOK）

###リクエスト2回目「jsonデータの取得」
取得した_crsfの値、クッキーを使ってjsonデータを取得します。

1. リファラーをoutagesに設定
2. cURLで取得済みクッキーを送信するよう設定
3. コンソールで確認した形式どおりにリクエストデータを組み立てる
4. outages_ajaxにPOST
5. 成功するとjsonファイルが返ってくる

##参考ページ

PHP: cURL - Manual
http://php.net/manual/ja/book.curl.php

Answer 2

短縮URLではなく、本来のURL（https://hjks.jepx.or.jp/hjks/outages）であれば、アクセスできました。
ajaxのソースも普通に現れていますし、頑張ればできなくはなさそうですが、面倒ですね。

要は以下のリクエストを生成できれば、きちんと結果が返ってきます。

RequestHeader
Accept:text/plain, /; q=0.01
Accept-Encoding:gzip, deflate
Accept-Language:ja,en-US;q=0.8,en;q=0.6
Cache-Control:no-cache
Connection:keep-alive
Content-Length:134
Content-Type:application/x-www-form-urlencoded; charset=UTF-8
Cookie:JSESSIONID=kc8CaDk-G4T-S0A0CYI0QlTx; NSC_mc1.iklt.kfqy.mpdbm_iuuq=ffffffff094a1e1045525d5f4f58455e445a4a423660
Host:hjks.jepx.or.jp
Origin:https://hjks.jepx.or.jp
Pragma:no-cache
Referer:https://hjks.jepx.or.jp/hjks/outages
Save-Data:on
User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36
X-Requested-With:XMLHttpRequest

Form Data
view source
view URL encoded
cmd:get-records
selected[]:7
limit:100
offset:100
sort[0][field]:no2
sort[0][direction]:asc
_csrf:f203cab3-fd05-4860-bd2b-37d329ef0605