PHPのfile_get_contentsの結果が、ブラウザに直接入力した時と異なってしまう。
解決済
回答 2
投稿
- 評価
- クリップ 0
- VIEW 968
指定したキーワードでのyahooの検索結果で、自分のサイトが何位に表示されるかというSEO対策のプログラムを作成しています。
http://search.yahoo.co.jp/search?p=キーワード&aq=-1&oq=&ei=UTF-8&fr=top_ga1_sa&x=wrt&n=50このURLをブラウザに直接入力すると、きちんと50位までの結果がブラウザに表示されるのですが、これを、
file_get_contents("http://search.yahoo.co.jp/search?p=キーワード&aq=-1&oq=&ei=UTF-8&fr=top_ga1_sa&x=wrt&n=50");このようにして、PHPのfile_get_contentsで検索結果ページを取得しようとすると、何故か10位までしか検索結果が表示されません。
ブラウザに直接入力した時と、PHPのfile_get_contentsで取得した時では、結果が違うのは何故なのでしょう？
また、このような場合、ブラウザに直接URLを入力した時と同じ結果のHTMLを取得するには、どうしたらいいのでしょう？
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
+3
UserAgent 見て切り替えているのですかね。ぱっと見プログラムからだとわかるリクエストにはちょっとした防御策として件数を抑えて対応しているとか。
UserAgent 変えたら結果は変わりますか。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
+2
いくつか確認ですが、ブラウザは、Yahooにログインしていたりしていますか？
また、Yahoo の検索設定は、どうなっていますか？
表示件数や文字サイズ、言語設定などの検索設定は、Yahooにログインしている場合は、一度設定した値が引き継がれるみたいですが、ログインしていない場合は Cookieがあれば Cookieに設定されている条件、ない場合は、初期値が使われるようです。
検索結果の表示件数の初期値は、10件ですので、初期値が使われているのでしょう。
対応としては、HTTP/Request などを使って、Yahooにログインしてから、検索するようにするようなプログラムを書くことになると思います。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
2016/04/29 12:49
お世話になります。
ご回答ありがとうございます。
UserAgentの切り替えなんですが、
ページにアクセスしたユーザーエージェントを切り替える方法がよくわかりません。
何かサンプル的なプログラムなどの掲載のある、
参考のページなどないでしょうか？
2016/04/29 12:57
が、CHERRY さんの回答の方がアタリかもしれません。そちらもお試しください。
2016/04/29 17:36
で確認したところ、ブラウザでリクエストした内容と同じ結果を取得したので、
unauさんの回答(UserAgentでレスポンスを切り替えている)でビンゴだと思います。
2016/04/29 17:41
2016/04/29 20:41
わざわざありがとうございます！
そうなんですね！
ただ、file_get_contents、curl、2つの方法でユーザーエージェントを指定してやってみたのですが、ステータスコード999が返ってきて取得出来ません。
でもこれは、また別の問題だと思います。
いろいろ試してみます。
ありがとうございました！
2016/04/29 20:42
そうですね。
私はあまりにも無知なようです。
これを機に、いろいろ学んでみます。