CURLの使い方

Question

下記プログラムを書いてみたのですが、うまく動きません。実行するとエラーも表示されず、何が起こっているのか？何が足りないのか？がわからず行き詰まっています。

下記がコードになります。

<?php
function curl_url($url,$ref="")
 {
   if(function_exists("curl_init"))
   {
     $ch_init = curl_init();
     $user_agent = "Mozilla/4.0 (compatible; MSIE 5.01; "."Windows NT 5.0)";
     $ch_init = curl_init();
     curl_setopt($ch_init, CURLOPT_USERAGENT, $user_agent);
     curl_setopt( $ch_init, CURLOPT_HTTPGET, 1 );
     curl_setopt( $ch_init, CURLOPT_RETURNTRANSFER, 1 );
     curl_setopt( $ch_init, CURLOPT_FOLLOWLOCATION , 1 );
     curl_setopt( $ch_init, CURLOPT_FOLLOWLOCATION , 1 );
     curl_setopt( $ch_init, CURLOPT_URL, $url );
     curl_setopt( $ch_init, CURLOPT_REFERER, $ref );
     curl_setopt ($ch_init, CURLOPT_COOKIEJAR, 'cookie.txt');
     $html = curl_exec($ch_init);
     curl_close($ch_init);
   }
  else
   {
     $hfile = fopen($url,"r");
     if($hfile)
     {
       while(!feof($hfile))
       {
         $html.=fgets($hfile,1024);
       }
     }
   }
  return $html;
 }

$url='http://www.amazon.com/s/ref=sr_nr_p_72_0?rh=n%3A172282%2Ck%3Aiphone+5s%2Cp_72%3A1248879011&keywords=iphone+5s&ie=UTF8&qid=1406078696&rnid=1248877011';
$getelement = curl_url($url);            
preg_match_all ("/a[\s]+[^&amp;gt;]*?href[\s]?=[\s\"\']+"."(.*?)[\"\']+.*?&amp;gt;"."([^&amp;lt;]+|.*?)?&amp;lt;\/a&amp;gt;/", $getelement, $matches,PREG_PATTERN_ORDER);    
$matches = $matches[1];
$list = array();
    foreach($matches as $var)
        {    
           print_r($var."\n");
        }

?>

本来ならpreg_match_allでマッチしたいくつかURLが表示されるはずなのですが、なぜ上記コードだとうまく動かないか、どなかたお分かりになられないでしょうか？

Comments

[A.Ichi]

curlの設定はご確認しましたでしょうか？
php -i | grep cURL　にて確認できます。
であればhtml取得までは、出来ています。
$response = curl_getinfo( $ch_init );
print_r($response);
で戻りを確認されてはいかがでしょうか？

[tuckQ]

コメントいただきありがとうございます。cURL support => enabled
cURL Information => 7.43.0という結果が得られました。その上で、$response = curl_getinfo( $ch_init ); print_r($response); を実行してみたところ、以下のエラーが発生しました。「Notice: Undefined variable: ch_init in /Applications/MAMP/htdocs/parser/asin.php on line 2

Warning: curl_getinfo() expects parameter 1 to be resource, null given in /Applications/MAMP/htdocs/parser/asin.php on line 2」
環境の設定自体があやしい感じなのでしょうか？

[A.Ichi]

すみません入れる場所を、お教えしてませんでした。
$response = curl_getinfo( $ch_init );
print_r($response);
は、curl_close($ch_init);の前に置いて実行してください。

[tuckQ]

再度ありがとうございます。教えて頂いた方法で連想配列の返り値が得られました！「function curl_url」関数の中の処理は概ね理解できたかと思います。preg_match_all 以下の処理がどうなっているのか未だちゃんとイメージできておらず、もう少し研究してみます！

[kei344]

まだ質問が「受付中」になっていますが、いったん「解決済」にされてはいかがでしょうか。

[tuckQ]

はい。おおよそ仕組みが分かったので「解決済」とさせていただきます。

Answer 1

何が起こっているのか？何が足りないのか？を切り分けてみては？
通信内容を確認すれば切り分けられると思います。
あと、他者の管理するサイトを機械的にアクセスするのであれば、迷惑かけないようにプログラムをちゃんと理解した方がいいですよ。
このスクリプト自体は、無茶なアクセスする内容ではない上、相手が amazon なので、それほど影響はないと思いますが。。。

Comments

[tuckQ]

var_dump()など使ってどこまで処理が進んでいるか調べるということでしょうか？コードを分解しての確認はまだでしたので、試してみようと思います。アドバイスありがとうございました！

[tuckQ]

スクレイプ系プログラムを使う場合、しっかりした理解が必要とのこと承知しました。こちらのアドバイスもありがとうございました！

[退会済みユーザー]

通信内容の確認方法が分かるぐらいには学習して下さい。スクレイピングの基本です。
ヒントは A.Ichi さんが示してくれています。
本来なら、他者管理のサーバへの負荷をかけずに、まず基本部分を完成させるため、受信する予定のダミーデータを用意して、その結果、予定通りの機能実装が完成したと確認が取れた後、curl部分を動かす手順を踏むべきなので、そのあたりのやり方も学習されるとイイと思います。

[tuckQ]

本来、スクレイピングのテストは自前環境で行うべきなのですね。。サーバにかかる負荷のことを全く認識できてませんでした。通信内容の確認方法を含め学習進めてみようと思います。

[退会済みユーザー]

今回のケースでは、通信自体は正常のようです。
echo $getelement;
すると原因がわかると思います。

[tuckQ]

ようやく原因が分かりました。ロボットチェックが表示されているんですね。いわんや、ロボットでアクセスしちゃダメってことですよね。スクレイピングについてはちょっと考えます。いろいろ参考になりました、ありがとうございます！

Answer 2

コードは で囲ってください。

preg_matchに渡している文字列の中身がHTMLエンコードされていますが（リンク先も含め）、これはHTMLエンコードしてるとURLに一致してないように見えますがいかがでしょうか？

Comments

[tuckQ]

コメントありがとうございます！preg_matchの仕様については、リファレンスなどを見てある程度学習したのですが、ご指摘いただいた「HTMLエンコードされている」「URLと不一致」のあたりの理解が出来ておりません。。。preg_matchの部分に問題がありそうなことは分かったので、ここにフォーカスして調べてみようと思います！