PHP、phamtomjs、phpQueryを使ってWebスクレイピングをしたい

Question

前提・実現したいこと

下記ニュースサイトから最新20件のニュースのタイトル・投稿時間・詳細URLへのリンク・タグを取得する。
https://www3.nhk.or.jp/news/catnew.html

発生している問題・エラーメッセージ

phamtomjsでjavascript実行後のhtmlを読み込み、phpQueryでスクレイピングを行いたいのですが、
読み込んだhtmlから欲しい情報だけを指定してテキスト化しようとするとエラーがでます。

ターミナルで php php.index を実行すると下記エラーが発生します。

Fatal error: Uncaught Error: Call to a member function query() on null in /Users/sh/myapps/basic_php_v3-master/work/phpQuery-onefile.php:1764
Stack trace:
#0 /Users/sh/myapps/basic_php_v3-master/work/phpQuery-onefile.php(1893): phpQueryObject->runQuery('//body//*[@id='...', '.content--list', 'matchClasses')
#1 /Users/sh/myapps/basic_php_v3-master/work/index.php(32): phpQueryObject->find('body #content ....')
#2 {main}
  thrown in /Users/sh/myapps/basic_php_v3-master/work/phpQuery-onefile.php on line 1764

該当のソースコード

<?php
require_once("phpQuery-onefile.php");
require 'vendor/autoload.php';

use JonnyW\PhantomJs\Client;
use JonnyW\PhantomJs\DependencyInjection\ServiceContainer;

$client = Client::getInstance();
$request = $client->getMessageFactory()->createRequest();
$response = $client->getMessageFactory()->createResponse();

$url = 'https://www3.nhk.or.jp/news/catnew.html';
$request->setUrl($url);
$client->send($request,$response);

$htmlstr = $response->getContent();
$dom = new DOMDocument;
@$dom->loadHTML($htmlstr);
$dom->saveHTML();
$doc = phpQuery::newDocument($dom);
echo $doc->find("body #content .content--list li dl dd a em")->text();
?>

最後の一行を下のように変更すると、ニュースのタイトルや投稿時間を含むhtml全体がテキスト化されたものが出力されます。

echo $doc->text();

試したこと

findの()内の条件をいろいろ変えて試してみましたが、全て同じエラーがでました。

補足情報（FW/ツールのバージョンなど）

PHP 7.3.11
phpQuery 0.9.5

Comments

[hayato7]

echo $doc["body #content .content--list li dl dd a em"]->text();
とやるとどうなるのでしょうか。

[ponzunpo00]

似たようなエラーがでました。
Fatal error: Uncaught Error: Call to a member function query() on null in /Users/sh/myapps/basic_php_v3-master/work/phpQuery-onefile.php:1764
Stack trace:
#0 /Users/sh/myapps/basic_php_v3-master/work/phpQuery-onefile.php(1893): phpQueryObject->runQuery('//body//*[@id='...', '.content--list', 'matchClasses')
#1 /Users/sh/myapps/basic_php_v3-master/work/phpQuery-onefile.php(4135): phpQueryObject->find('body #content ....')
#2 /Users/sh/myapps/basic_php_v3-master/work/index.php(31): phpQueryObject->offsetGet('body #content ....')
#3 {main}
thrown in /Users/sh/myapps/basic_php_v3-master/work/phpQuery-onefile.php on line 1764

[hayato7]

そうですか。
少し試してみましたが、一度ファイルに保存してから読みだすと、できるんですね。。。
以下だとなぜかできますね。

```
上略
$doc = phpQuery::newDocument($dom);

$fp = fopen('data.html', 'w');
fwrite($fp, $doc);
fclose($fp);

//DOM取得
$doc = phpQuery::newDocument($html);
echo $doc->find("body #content .content--list li dl dd a em")->text();

[ponzunpo00]

回答ありがとうございます。
上記のようにコードを修正したところ、javascript実行後のhtmlをdata.htmlとして出力できましたが、やはりfindのところで同じエラーがでてしまいます。
-$dom->saveHTML();
+$dom = $dom->saveHTML();
も試してみましたが同様にエラーがでます。

[hayato7]

そうなんですか。。何か環境が異なっているのでしょうか。

phpQueryは、以下サイトの一番上のものを使われていますか？
https://code.google.com/archive/p/phpquery/downloads

php-phantomjsについては、以下の設定でinstallしています。
// composer.json
{
"scripts": {
"post-install-cmd": [
"PhantomInstaller\\Installer::installPhantomJS"
],
"post-update-cmd": [
"PhantomInstaller\\Installer::installPhantomJS"
]
},
"require": {
"jonnyw/php-phantomjs": "4.*"
}
}

[ponzunpo00]

composer.jsonファイルも書き換えてみましたが、ダメでした。
DOM取得の
$doc = phpQuery::newDocument($html);について変数の定義をしていないので
$html = file_get_contents("data.html");としていますが、これがいけないのでしょうか

[ponzunpo00]

phpQueryを入れ直したらうまく動きました！
ご丁寧に回答していただきありがとうございました。

[hayato7]

よかったです！

Answer 1

以下修正したら、できるはずです。

-$dom->saveHTML();
+$dom = $dom->saveHTML();