PHPのfile_get_contentsの結果が、ブラウザに直接入力した時と異なってしまう。

Question

指定したキーワードでのyahooの検索結果で、自分のサイトが何位に表示されるかというSEO対策のプログラムを作成しています。

http://search.yahoo.co.jp/search?p=キーワード&aq=-1&oq=&ei=UTF-8&fr=top_ga1_sa&x=wrt&n=50

このURLをブラウザに直接入力すると、きちんと50位までの結果がブラウザに表示されるのですが、これを、

file_get_contents("http://search.yahoo.co.jp/search?p=キーワード&aq=-1&oq=&ei=UTF-8&fr=top_ga1_sa&x=wrt&n=50");

このようにして、PHPのfile_get_contentsで検索結果ページを取得しようとすると、何故か10位までしか検索結果が表示されません。

ブラウザに直接入力した時と、PHPのfile_get_contentsで取得した時では、結果が違うのは何故なのでしょう？

また、このような場合、ブラウザに直接URLを入力した時と同じ結果のHTMLを取得するには、どうしたらいいのでしょう？

Answer 1

UserAgent 見て切り替えているのですかね。ぱっと見プログラムからだとわかるリクエストにはちょっとした防御策として件数を抑えて対応しているとか。
UserAgent 変えたら結果は変わりますか。

Comments

[GiveAHand]

unau様

お世話になります。
ご回答ありがとうございます。

UserAgentの切り替えなんですが、
ページにアクセスしたユーザーエージェントを切り替える方法がよくわかりません。

何かサンプル的なプログラムなどの掲載のある、
参考のページなどないでしょうか？

[unau]

「file_get_contents useragent」でググると例がいくつも出てきます。

が、CHERRY さんの回答の方がアタリかもしれません。そちらもお試しください。

[yodel]

curl -A "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36" http://search.yahoo.co.jp/search?p=キーワード&aq=-1&oq=&ei=UTF-8&fr=top_ga1_sa&x=wrt&n=50

で確認したところ、ブラウザでリクエストした内容と同じ結果を取得したので、
unauさんの回答(UserAgentでレスポンスを切り替えている)でビンゴだと思います。

[unau]

GiveAHand さん、yodel さんがやってらっしゃるように、curl とか wget とかでお手軽に試す方法も知っているといいかもです。どちらも cookie も扱えますしね。

[GiveAHand]

yodel様

わざわざありがとうございます！
そうなんですね！

ただ、file_get_contents、curl、2つの方法でユーザーエージェントを指定してやってみたのですが、ステータスコード999が返ってきて取得出来ません。

でもこれは、また別の問題だと思います。

いろいろ試してみます。

ありがとうございました！

[GiveAHand]

unau様

そうですね。
私はあまりにも無知なようです。

これを機に、いろいろ学んでみます。

Answer 2

いくつか確認ですが、ブラウザは、Yahooにログインしていたりしていますか？
また、Yahoo の検索設定は、どうなっていますか？

表示件数や文字サイズ、言語設定などの検索設定は、Yahooにログインしている場合は、一度設定した値が引き継がれるみたいですが、ログインしていない場合は Cookieがあれば Cookieに設定されている条件、ない場合は、初期値が使われるようです。

検索結果の表示件数の初期値は、10件ですので、初期値が使われているのでしょう。

対応としては、HTTP/Request などを使って、Yahooにログインしてから、検索するようにするようなプログラムを書くことになると思います。

Comments

[GiveAHand]

CHERRY様

ご回答ありがとうございます。
いいえ、PHPでyahooブラウザにログインはしていません。

ただ、いろいろ試しているのですが、
そのYahooにログインするというのが出来なくて。。。

ネットを検索しますと、yahooにログインするには、

http://comeonly.hatenablog.com/entry/20120702/1341218892

このような記事が見つかるのですが、
これを実行するためには、

yahoo_browser.php

が必要で、さらにyahoo_browser.phpを
実行するためには、

http://pear.php.net/manual/en/package.http.http-request.php

ここから、HTTP_Requestをダウンロードしなくてはいけないみたいなのですが、
これのダウンロード方法がわからずに頭がいたいです。

お門違いな質問かもしれませんが、HTTP_Requestはどうやってダウンロードしたらいいのでしょう？