ブラウザでのアクセスとcurlの検索結果の違い

Question

PHPでcurlを使って楽天市場の検索結果を取得しています。

普通にブラウザを使って検索を行い、アドレスバーに表示されたurlをコピーしcurlを使ってアクセスしました。
2つの検索結果を見比べたところ表示される順位にかなりの違いがあります。

Getによるアクセスなので送信されている情報は同じだと思います、ユーザーエージェントも同じ値を設定しています。Chromeをシークレットモードで起動し楽天市場のトップページを表示せずに直接検索クエリを実行しても同じにはなりません。

一体この2つは何が違って検索結果が異なっているのでしょうか？

Answer 1

A:「普通にブラウザを使って検索」(この結果アドレスバーに表示された URL を [URL A] とする）
B:「curlを使って [URL A] にアクセス」
C: 「Chromeをシークレットモードで起動し直接検索クエリを実行」

C でアドレスバーに入力しているのは [URL A] ではなくて、検索クエリの URL ([URL 0] とする）で、A では検索実行時に [URL 0] をリクエストして、結果的な表示は [URL A] になった、ということでしょうか。
で、結果は B と C が一緒で、A とは違う、ということでよいでしょうか。

A のときにどういう操作を経ているのかわかりませんが、普通にブラウザ捜査しているとすると、cookie も送られている可能性が高いですよね。B では明示的に cookie を送る設定にしないと送らないですよね。C も cookie 送らないですよね。

外していたらすみません。
必要があったら HTTP 通信をキャプってみるといいんじゃないでしょうか。

Comments

[msx2]

ありがとうございます。
上記のCもアドレスバーに入力しているのは[URL A]です。
結果はAとCが同じでBだけ異なります。

2ページ目以降は純粋にリンクをクリックして表示させているので、このURLをブラウザに貼りつけたら同じ結果になりそうなものですが、これも上と同じ結果です。BとCは同じになって欲しいのですが…。

[unau]

「純粋にリンクをクリックして」とありますが、クリックイベントのハンドラで POST で submit しているかもしれませんよね。
繰り返しになりますが、HTTP のリクエストとレスポンスを、ヘッダも含めてキャプってみるといいと思います。
あと、もし、キャプって何かわかったとしても、リクエストヘッダの内容の違いで検索結果順位が違ったとして、それが問題になるようならば、undocumented なふるまいに依存した設計自体が間違っていると考えたほうがいいかもしれません。もし、特定のリクエストヘッダの値によって望みの結果が得られるようになったとしても、いつまでそれが使えるかわからないわけですから。

[msx2]

リクエストヘッダーを確認するとトップページを経由すると何かしらのクッキーを送信しているので影響があるのかもしれませんね。ブラウザの履歴を全消去してから検索するとcurlと"ほぼ"同じ結果になりました。

楽天の商品検索は常にいろんな影響を受けてその結果(順位)は安定しないと考えることにしました。
順位に多少の前後はあっても大きく変わっていなかったので、ブラウザの検索結果もcurlからの検索結果もどちらも正しい結果なのだと思います。ありがとうございました。

Answer 2

ブラウザのソース表示じゃなくて、ブラウザ画面と比べているのなら、JavaScriptのせいだと思います。

Comments

[msx2]

早速の回答ありがとうございます。
ソースは見比べずにブラウザの表示で見ています。
楽天はJavascriptで見た目の順番を入れ替えているのですか？？

[otn]

JavaScriptというのは一般論です。
順番というと、他の方が書いているように、Cookieでユーザーの履歴が参照されているのかもしれませんね。

[msx2]

コメントありがとうございます。
ソースと画面の表示は同じだったのでJavascriptではないかも知れません。
ただし広告で検索結果に差し込まれている商品のショップ名やurlはブラウザ表示とは異なる記号で表されていました。こういうのがJavascriptでさわっている場所なんですね。