【PHP】file_get_contentsの結果が空になってしまう

PHPのfile_get_contentsを使って、GoogleとYahooの検索結果を取得し、結果データを分析するプログラムを作成しています。

Googleの場合は、

php
1$html_contents=file_get_contents("http://www.google.co.jp/search?num=100&hl=ja&site=&source=hp&q="."キーワード");

という書き方で、PHPの場合は、

php
1$html_contents=file_get_contents("http://search.yahoo.co.jp/search?p="."キーワード"."&aq=-1&oq=&ei=UTF-8&fr=top_ga1_sa&x=wrt&n=100");

で、Googleの場合はうまく結果ページのHTMLが取得出来るのですが、Yahooの場合はデータが空になってしまいます。

ちなみに、file_get_contentsにセットしている値を、ブラウザのアドレスバーに入れた場合、正常に表示されます。

また、"キーワード"の部分は、urlencodeで、URLエンコードしています。

そんな状況なのですが、これは何かおかしいでしょうか？

YahooとGoogleで何か違いはあるのでしょうか？
または、検索エンジンの結果ページを取得するのに、何かいい方法はないものなのでしょうか？

行動規範の内容に同意します

回答1件

ベストアンサー

パラメータをpだけにすると表示されるようになりました．
file_get_contentsよりもcurl_*系の関数使ったほうが動作が高速になりやすいです．
リクエスト送りすぎるとIPアドレスで規制食らうので注意してください．

php
1<?php
2$keyword = 'teratail';
3$ch = curl_init();
4curl_setopt_array($ch, [
5    CURLOPT_URL => 'http://search.yahoo.co.jp/search?p=' . urlencode($keyword),
6    CURLOPT_RETURNTRANSFER => true,
7    CURLOPT_ENCODING => 'gzip',
8]);
9$dom = new DOMDocument;
10@$dom->loadHTML(mb_convert_encoding(curl_exec($ch), 'HTML-ENTITIES', 'UTF-8'));
11$xpath = new DOMXPath($dom);
12$results = [];
13foreach ($xpath->query('//*[@id="web"]/ol/li') as $node) {
14    $results[] = [
15        'url' => $xpath->evaluate('string(./a/@href)', $node),
16        'title' => $xpath->evaluate('normalize-space(./a)', $node),
17        'summary' => $xpath->evaluate('normalize-space(./div)', $node),
18    ];
19}
20print_r($results);