phpでスクレイピング
受付中
回答 0
投稿
- 評価
- クリップ 2
- VIEW 1,065
phpでスクレイピングをし、
スクリーンショットを保存するコードを作りたいです。
https://www.genius-web.co.jp/blog/cat-119/selenium_+implementation.html
こちらのサイトを参考に以下コードで実行いたしましたが、
PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed.
というエラーが発生しております。
Seleniumの仕組みをいまいちわかっていないこともあり、
原因が思いつかないのですがわかる方いらっしゃいますでしょうか、
OS：CentOS７
ブラウザ：GoogleChrome(ver75.0.3770.90)
インストールしたもの
・PHP 7.1.30
・GoogleChrome(ver75.0.3770.90)
・chromedriver(75.0.3770.90)
・Selenium-server
・php-webdriver
以下のtest.phpはドキュメントルートにあり、
インストールした各ツールは/usr/local/bin配下にあります。
<?php require '/usr/local/bin/vendor/autoload.php';
use Facebook\WebDriver\Chrome\ChromeOptions;
use Facebook\WebDriver\Remote\DesiredCapabilities;
use Facebook\WebDriver\Remote\RemoteWebDriver;
use Facebook\WebDriver\WebDriverBy;
use Facebook\WebDriver\WebDriverExpectedCondition;
$options = new ChromeOptions();
$options->addArguments(['--headless']);
$host = 'http://localhost:80';
$capabilities = Facebook\WebDriver\Remote\DesiredCapabilities::chrome();
$capabilities->setCapability(ChromeOptions::CAPABILITY, $options);
$driver = Facebook\WebDriver\Remote\RemoteWebDriver::create($host, $capabilities);
$driver->get('https://www.google.co.jp/');
$browserLogs = $driver->manage()->getLog('browser');
$element = $driver->findElement(WebDriverBy::name('q'));
$element->sendKeys('php スクレイピング');
$element->submit();
$driver->wait(15)->until(
WebDriverExpectedCondition::titleIs('php スクレイピング - Google 検索')
);
if ($driver->getTitle() !== 'php スクレイピング - Google 検索') {
throw new Exception('fail');
}
$file = "サンプル_chrome.png";
$driver->takeScreenshot($file);
$driver->close();
上記実行をすると以下エラーが発生いたします
PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed.
Error code: 4
The response: '<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>404 Not Found</title>
</head><body>
<h1>Not Found</h1>
<p>The requested URL /session was not found on this server.</p>
</body></html>'
in /usr/local/bin/vendor/facebook/webdriver/lib/Remote/HttpCommandExecutor.php:298
Stack trace:
#0 /usr/local/bin/vendor/facebook/webdriver/lib/Remote/RemoteWebDriver.php(126): Facebook\WebDriver\Remote\HttpCommandExecutor->execute(Object(Facebook\WebDriver\Remote\WebDriverCommand))
#1 /var/www/html/test.php(14): Facebook\WebDriver\Remote\RemoteWebDriver::create('http://localhos...', Object(Facebook\WebDriver\Remote\DesiredCapabilities))
#2 {main}
thrown in /usr/local/bin/vendor/facebook/webdriver/lib/Remote/HttpCommandExecutor.php on line 298何卒よろしくお願いいたします。
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
まだ回答がついていません
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.20%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる