質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

Q&A

0回答

1124閲覧

PHP GoutteとPhantomJsを利用して、javascriptの部分も含めスクレイピングしようとしているのですが、、、

Yaki_yaki11

総合スコア18

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

0グッド

1クリップ

投稿2020/03/20 12:01

編集2020/03/21 12:54

PHPでGoutteを使用してスクレイピングをする際に、jsの部分も取得したいので、PhantomJsというものを利用しようとしているのですが、

Fatal error: Uncaught InvalidArgumentException: The URL of the element is relative, so you must define its base URI passing an absolute URL to the constructor of the Symfony\Component\DomCrawler\AbstractUriElement class ("" was passed).

というエラーが出てしまいます。
調べてみたところ、

PHP

1$client = Client2::getInstance(); 2 $client->getEngine()->setPath('bin/phantomjs'); 3 $request = $client->getMessageFactory()->createRequest('リンク', 'GET'); 4 $response = $client->getMessageFactory()->createResponse(); 5 $client->send($request, $response); 6 $crawler = new Crawler($response->getContent()) 7 $loginform = $crawler->filter('form')->form(); 8

このようなソースのクローラーインスタンスに、ベースURLが正しいかどうかの手がかりがないとのことなのですが、どのように設定してあげれば良いのか分かりません。

お助け願います。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hoshi-takanori

2020/03/20 20:17

Crawler に content だけではなく url も渡すべきかと思いますが、Crawler はどこで定義されてますか?
Yaki_yaki11

2020/03/21 02:24

ご連絡ありがとうございます。 いえ、定義していません。 調べた通りにソースを書いて、このようなものしか見つからなかったため、urlを渡すという方法が分かりません。 教えていただけますでしょうか。
hoshi-takanori

2020/03/21 03:00

ちょっと調べた限りでは分からなかったので聞いてみました。 そのコードは何かを参考にして書きましたか?
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問