PHPでスクレイピング、Qiitaのトレンド記事を取得したい

実現したいこと

タイトルの通りです。

"https://qiita.com"から、1日のトレンド記事のタイトルとリンクを取得したいです。
（以下の画像の部分）

状況

・PHP 7.3.1
・simplehtmldom_1_9のsimple_html_dom.phpを読み込んでいる
・ディレクトリ下にindex.phpとsimple_html_dom.phpがある
・ターミナルにて"php index.php"と打って、ファイルを実行
・別のセレクタ（titleなど）は取得できたため、読み込み等のミスではなく、セレクタがうまく取得できていないのだと考えています。

初歩的な問題かと思いますが、時間がかかってしまいお助け願いたい次第です。
よろしくお願いいたします。

php
1//index.phpの中身です
2
3<?php
4
5require_once 'simple_html_dom.php';
6
7$page = file_get_html('https://qiita.com/');
8
9//以下に問題があるはず
10$elements = $page->find('.tr-Item_title a');
11
12foreach ($elements as $ele)
13{
14    echo $ele->plaintext, PHP_EOL;
15    echo $ele->href, PHP_EOL;
16}
17
18
19
20

m.ts10806

2019/08/21 00:12 編集

APIでもできそうですけど。 https://qiita.com/mokoaki/items/1b5cc9ccc502082faf3d あえてスクレイピングにするのは色々とリスクが高いんじゃないかなと。

行動規範の内容に同意します

回答1件

ベストアンサー

qiita.comのHTMLソースを見るとわかりますが、class=tr-Item_titleの要素はHTML中にはなく、JavaScriptでレンダリングされているようです。だから、プログラムのバグというより、この方法では原理的に取り出せないと思います。
以下のようにカスタムデータ属性からJSON形式でDOMを取り出すことはできるようです。

PHP
1// 省略
2$elements = $page->find('div[data-hyperapp-app=Trend]');
3$dom = json_decode(html_entity_decode($elements[0]->attr['data-hyperapp-props'], ENT_QUOTES));
4var_dump($dom);