curlでサイトにアクセスした際、ページ内の別アクセスのレスポンスの取得

Question

現在、スクレイピングを勉強しており以下のような場合どうしたらいいのか悩んでおります。

curlで指定したURLへアクセスした際、そのページ内ではimage.phpというものを使って画像をランダム表示しています。
そこで現在は再度image.phpへアクセスし、画像を取得していますが、
それだと最初にアクセスした時の画像とは別の画像が取得されてしまいます。(image.phpへの２度目のアクセスなため)

最初にアクセスした際、ページ内でのimage.phpへのアクセスのレスポンスを取得する方法などありませんでしょうか？

有識者の方にお知恵をお貸しいただければと思います。
よろしくお願い致します。

追記です。
対象サイトがユーザー登録が必要なためサンプルを作成しました。
http://match1020.php.xdomain.jp/
上記URLは表示時に画像が別プログラムでランダムで表示されます。

このサイトに対して

$url = "http://match1020.php.xdomain.jp/";

// cURLオプションの設定項目
$option = [
  // trueを設定すると返り値を文字列で出力
  CURLOPT_RETURNTRANSFER => true,
];

// cURLセッションを初期化
$ch = curl_init($url);

// 転送時のオプションを設定
curl_setopt_array($ch, $option);

// cURL セッションを実行
$data = curl_exec($ch);

// cURLセッションを終了する
curl_close($ch);

// TODO:表示された画像のソースを取得したい

レスポンスである$dataにはtest.phpによって表示された画像の情報を見つけられませんでした。
optionなども調べているのですが、何かoptionを追加することで
中で呼ばれているプログラムの結果を取得できないかと模索中です。

さらに追記です。

本サイトには文章があり、初期表示の際には文章と画像が紐づいているのですが、
別途画像表示のプログラムにアクセスすると画像がランダムに変わるようで
画像と文章の紐付きが壊れてしまいます。

Comments

[m.ts10806]

何がしたいのか今一つ分かりませんが、ひとまず、現象が確認できるコード提示してください。それがないと何も応えようがないかと。

[yuicho]

> 最初にアクセスした際、ページ内でのimage.phpへのアクセスのレスポンスを取得する方法などありませんでしょうか？

最初のアクセスは何で行っているんでしょうか？

[match12]

申し訳ありません。
対象サイトがベーシック認証などあるため公開できないので
サンプルを作成しました。

言葉足らずで申し訳ありませんでした。

[match12]

ここでcurlでアクセスした時に表示・取得された画像のソースが取得したいのです。

[yuicho]

> レスポンスである$dataにはtest.phpによって表示された画像の情報を見つけられませんでした。

申し訳ないですが、実際のレスポンスが見れなければ画像がどう入っているかもわかりませんし、画像がどう入っているか分からなければ取得方法の答えようが無いです。。

[match12]

やはりそうですよね。
本サイトが晒せないのでもう少し色々見てみます。

説明不足、少ない情報でお知恵をお菓子いただきありがとうございました。

[yuicho]

> 初期表示の際には文章と画像が紐づいている
とのことなので、何かしら組み合わせを作る方法が存在するはずだと思います。
ブラウザの開発者ツール等使うとわかるかもしれません。

Answer 1

時間があいてしまいましたが対象のサイトが閉鎖してしまい解決する前に調査できなくなってしまいました。

Answer 2

すーぱー想像力を働かせて仮定しながら回答しようと思うけど、
仮定がずれていたらまったく意味のない回答になるのでその点はご容赦を。

どこかのサイトのページをcurl関数群かなにかで取得すると
それに含まれる画像を表示する箇所が

<img src="image.php?～～～" />

みたいなのがあるなら、
そのimage.php?～～～を検出してそれをcURLにかければいいんじゃないかなって、
通りすがりに思った。
もちろん、完全なURLに補完してからcURLにかけることになるけども。

じゃぁどうやってimg要素を特定してsrc属性を抽出するか、
ネット上に「php スクレイピング」とかやれば事例はいくつもあるので、
どれかを読みながら作ってみて、躓いてから改めて質問し直すといいかも。

Comments

[match12]

ありがとうございます。

教えていただいた方法も考えたのですが、本サイトですと画像以外に文章があり、
その文章と画像が紐づいてるので取得後に保管してcURLにかけると
画像と文章の対が壊れてしまうのです。

また、説明不足でしたね。
申し訳ございません。

[退会済みユーザー]

どういうコードを書いてどういうふうに処理しているか察することもできないため、
やり方がまずいのかなとしか言えないです。
（セッション切れで別のユーザーとみなされていたりしませんか？）