質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
HTML5

HTML5 (Hyper Text Markup Language、バージョン 5)は、マークアップ言語であるHTMLの第5版です。

iframe

HTMLのタグ<iframe>です。<iframe>は、ドキュメント内に""inline frame""を作るHTML要素で、同じページでセパレートしているドキュメントが表示されるようにします。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

Laravel 5

Laravel 5は、PHPフレームワークLaravelの最新バージョンで、2014年11月に発表予定です。ディレクトリ構造がが現行版より大幅に変更されるほか、メソッドインジェクションやFormRequestの利用が可能になります。

Q&A

解決済

1回答

853閲覧

【phantomjs】srcのないiframe内のデータをクローリングする方法

退会済みユーザー

退会済みユーザー

総合スコア0

HTML5

HTML5 (Hyper Text Markup Language、バージョン 5)は、マークアップ言語であるHTMLの第5版です。

iframe

HTMLのタグ<iframe>です。<iframe>は、ドキュメント内に""inline frame""を作るHTML要素で、同じページでセパレートしているドキュメントが表示されるようにします。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

Laravel 5

Laravel 5は、PHPフレームワークLaravelの最新バージョンで、2014年11月に発表予定です。ディレクトリ構造がが現行版より大幅に変更されるほか、メソッドインジェクションやFormRequestの利用が可能になります。

0グッド

1クリップ

投稿2017/11/16 03:32

編集2017/11/17 14:26

###わからないこと
いつもお世話になっております。
この度下記のサイトのクローリングを試みております。
http://www.kaigokensaku.mhlw.go.jp/
上記サイト内の各市区町村の事業所一覧にて、各事業所がiframe内で作成されています。
そして、コマンドをたたいて上記のサイトをiframe内のhtmlを含んだ全体のhtml構造を出力しようとしています。

■iframe内にあるデータをphantomjsを用いて取得しようとしていますが、案件一覧の動的ページを取得することができておりません。
コードは下記のようになっております。

use JonnyW\PhantomJs\Client as PClient; // PhantomJs $client = PClient::getInstance(); $client->getEngine()->setPath('vendor\bin\phantomjs.exe'); $projectListUrl = 'http://www.kaigokensaku.mhlw.go.jp/13/index.php?action_kouhyou_pref_search_list_list=true&PrefCd=13'; $client->isLazy(); $request = $client->getMessageFactory()->createRequest(); $request->setUrl($projectListUrl); $response = $client->getMessageFactory()->createResponse(); $client->send($request, $response); if($response->getStatus() === 200) { echo $response->getContent(); }

delayを設けてiframe内に検索結果が表示されるようにしているはずなのですが、うまく言っておりません

###進捗の報告
現在php-phantomjsとphp-webdriverを用いてinframeの情報を取得しようとしています。
ただ、ウェブドライバーにchromeを指定しているのですが、ドライバーを開くのにタイムアウトを起こしてしまい、下記のstart以降に進むことができておりません。

use Facebook\WebDriver; use Facebook\WebDriver\WebDriverExpectedCondition; use Facebook\WebDriver\WebDriverBy; use Facebook\WebDriver\Remote; use Facebook\WebDriver\Remote\RemoteWebDriver; use Facebook\WebDriver\Remote\DesiredCapabilities; use Facebook\WebDriver\Chrome\ChromeDriver; //↑はfunctionがに追記しました。 // Chromeドライバを環境変数にぶちこむ putenv('webdriver.chrome.driver=vendor\bin\chromedriver.exe'); // ブラウザ起動 $driver = ChromeDriver::start();

上記のChromeDriver::start();にてタイムアウトになる原因を探っているところです。
原因の中にjavaを起動していないからというものがあったため試みましたが、結果は変わらずtimeoutとなってしまいました。

「java -jar selenium-server-standalone-3.7.1.jar」

ご教授いただければ幸いです。

何卒よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

該当の事業所一覧は各都道府県の"index.php?iframe=1"にPOSTした結果として取得されるようです。
質問者さんのクローラがそのようなURLを取得する作りとなっているのであれば、クローリングは可能かと思います。

投稿2017/11/16 07:41

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2017/11/16 07:50

ご回答ありがとうございます。 たとえばURLを http://www.kaigokensaku.mhlw.go.jp/13/index.php?iframe=1 のようにactionをスラッシュ以降指定して、chrome上で表示させようとしても表示されないのですが、パラメータを地道に辿っていって表示させることは不可能でしょうか?
退会済みユーザー

退会済みユーザー

2017/11/16 08:24

該当のPOSTリクエストはJavaScript上で組み立てられています。 クローラがJavaScriptを解釈しないように作られているのであれば、一覧取得用のスクリプトを別に用意された方が早いかもしれません。 PrefCdやp_offset、p_count等、POSTパラメータを適切に指定すれば結果を取得することは可能かと思われます。
退会済みユーザー

退会済みユーザー

2017/11/20 08:38

遅れまして申し訳ありません。 ご回答ありがとうございます。 ご回答内容を考慮しこちらのコードが変わりましたので、別でまた質問をさせていただきます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問