phpを使ったwebスクレイピングについて。

Question

楽天サイトの商品レビューページの口コミを抽出したく、色々なサイトを参考に自分なりにプログラムを組んでみたんですがなぜかechoで表示されません。。
どこが間違っているのかが考えても見当がつきませんでした。どうかお力を貸してくださいお願いしますm(_ _)m

<?php

require_once("phpQuery-onefile.php");
 
$mes = $_GET['url'];

$leng = mb_strpos($mes,"2");

$number = mb_substr($mes,$leng,15);

$dis_value = 0;


for($i = 1; $i <= 2; $i++){
//  htmlを取得
$html = file_get_contents("http://review.rakuten.co.jp/item/1/$number/$i.1/");
 
//  phpQueryのドキュメントオブジェクトを生成
$doc = phpQuery::newDocument($html);
}

foreach ($doc["div.revRvwUserSecCnt"] -> find("div.revRvwUserSec hreview") -> find("div.revRvwUserMain") -> find("div.revUserEntry") -> find("div.revRvwUserEntryCnt  revEntryNoImgCnt") find("dl.revRvwUserEntryInr") -> find("dd.revRvwUserEntryCmt description") as $rev[$count] {

  $dd = pq($rev[$count])->html();
  echo pq($dd)->text() . "<br>"; // dd要素の中のテキストを取得して表示

  $count++;
}

?>

Answer 1

echoでなくvar_dump()を使ってプリントデバッグをした方が良いです。
その上でどこらへんの処理まで正しく値が取れているか調べていくのが良いです。

var_dump($dd);
var_dump($rev[$count]);
var_dump($doc);
var_dump($html);
var_dump($number);

などを確認してみてどこで値が取れなくなるか調べてみてください

Answer 2

抜粋なのか元のコードに文法ミスがあるようですが、

とりあえず、適当なページをスクレイプしてみました。たぶん「dd.revRvwUserEntryCmt description」の様に途中にスペースが入るとクラスを認識しないようです。

※ 失礼しました。　スペースはセレクターの記法として使用できますが子孫要素になります。クラスを2つ以上持つ場合はドットでつなげること、「dd.revRvwUserEntryCmt description」ではなく「dd.revRvwUserEntryCmt.description」と記述することで使用できます。

<pre>
<?php

require_once("phpQuery-onefile.php");

$count = 0;


$html = file_get_contents("http://review.rakuten.co.jp/item/1/306476_10000049/1.1/");

$doc = phpQuery::newDocument($html);

//$doc["div.revRvwUserSecCnt.description"];
foreach ($doc["div.revRvwUserSecCnt"]->find("dd.revRvwUserEntryCmt") as $li) {

    $count++;
    echo $count.". ";
    echo pq($li)->text().PHP_EOL;

}

?>
</pre>

Comments

[sdnco]

ありがとうございます！
参考にしてやってみます！