PHPでHTMLをスクレイピングし、差分を抽出・出力したい

Question

前提・実現したいこと

1.本番環境と検証環境の商品ページのA要素をそれぞれスクレイピング(DOM生成し、Xpathで取得)
2.取得したA要素を本番環境と検証環境で比較
3.差分がある場合は、差分出力用の変数に格納し、出力する
4.上記を商品ページの数分、処理する。

ブラウザから差分出力のPHPプログラムを実行し、上記の処理をしたいです。

差分出力用の変数のイメージ

$prd_item:本番環境の商品ページのA要素
$stg_item:検証環境の商品ページのA要素

foreach ($item_ids as $item_id) {
/**
*スクレイピングをし、A要素を取得しているソースは省略
*/
$item_diff = []; //差分出力用の変数

    if ($prd_item != $stg_item){
        $cnt = count($item_diff);
        $item_diff[$cnt]['item_id'] = $item_id;
        $item_diff[$cnt]['stg_item'] = $stg_item;
        $item_diff[$cnt]['prd_item'] = $prd_item;
    }
}
var_dump($item_diff); //差分出力用の変数を出力

発生している問題

比較する商品ページの数が多いと、差分を出力するまでにタイムアウトしてしまう。
タイムアウトせずに出力するにはどうすればよいか？
※PHPのメモリ上限を引き上げる、以外でお願いします。

試したこと

10件,20件程度なら差分を出力してくれる。

補足情報（FW/ツールのバージョンなど）

フレームワークなどは使ってません

Answer 1

例えば１～１００まであって一度に全部やるとタイム・アウトしてしまうというのであれば、
タイムアウトしない粒度に処理をわけて、
どこまで処理が完了したかをデータベース上で管理できる前提で、
チェックボックスにチェックを入れるようにデータベースに1番完了、2番完了、などと記録しながら
PHP処理を再読込するようにでもすれば、
いずれ１００番まで処理は進められるかと。

webブラウザで処理を管理するのであれば、
単発のスクレイピング処理をAjaxで叩いて順次実行させるとかいう方法も。

正解は一つじゃないので、わかるところから手を付けて試していただければ。

Comments

[bibouroku]

回答ありがとうございます！

> webブラウザで処理を管理するのであれば、
> 単発のスクレイピング処理をAjaxで叩いて順次実行させるとかいう方法も。

こちらもう少しイメージをクリアにしたいです。

1.Ajaxで単発のスクレイピング処理をする
　　この際、スクレイピング処理のPHPプログラムに、商品IDをパラメータにして渡す
2.処理が成功したら、商品IDをプラス1し、スクレイピング処理のPHPに渡す
3.上記を商品IDの数文繰り返す

上記のイメージでいいでしょうか？

[退会済みユーザー]

スクレイピングを単発完結にしちゃって、
jsonの応答かなにかで成功ステータスが返ってきたら次のidについてスクレイピング処理を呼ぶ、
みたいなのの繰り返しのほうが、
phpの処理可能な時間の制約も突破できるのではないかと。

[bibouroku]

> スクレイピングを単発完結にしちゃって、
> jsonの応答かなにかで成功ステータスが返ってきたら次のidについてスクレイピング処理を呼ぶ、

・単一のIDをスクレイピングするPHPファイルを作成
・成功ステータスが返却されたら次のIDを上記のPHPファイルに渡すajaxを作成

上記で合ってるでしょうか？

[退会済みユーザー]

そうですね、その方がシンプルに単体テストができますし。
組み方によっては、スクレイピングするphp処理を複数同時に叩くことも可能ですし。
（jQueryでAjaxの使い方次第ですが、先方のサーバーに付加をかけてBANされない程度にほどほどに。）

[bibouroku]

理解できました！
ありがとうございました。

あとは自力でやってみます！