質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.48%

  • PHP

    24450questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • スクレイピング

    485questions

    スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

  • XPath(XML Path)

    93questions

    XML Path Language (XPath; XMLパス言語)は、マークアップ言語 XML に準拠した文書の特定の部分を指定する言語構文の事をいいます。XPathはXMLとは別の構文を使用します。XMLドキュメントの抽象、論理ストラクチャ上で動作します。

DOMXPathでスクレイピングしようとしているのですが、知識不足でエラーを解決できません。

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 630

yonaja

score 10

 前提・実現したいこと

phpでブックオフオンラインのwebスクレイピングをしようとしています。
DOMXPathを利用しスクレイピングしようとしているのですが、特定の要素に限り取得が上手くできません。
自分なりの多くの方々のブログなどを参考にしてプログラムを作ってブックオフオンライン以外のサイトではうまくいくサイトもありました。
プログラミング初心者のため自分で調べて色々試したのですが解決できなかったので、どなたか教えていただけませんでしょうか。
専門用語すら、あやふやなため質問内容が伝わっているか不安です。

スクレイピングしたいページのURLは
http://www.bookoffonline.co.jp/display/L001,q=%2582%25A0%2582%25CC%2589%25D4

スクレイピングしたい要素のxpathは

 xpath

//*[@id="resList"]/form/div[4]/div[3]/div[1]/div[2]/table/tbody/tr[2]/td

になります。
ちなみに上記のxpathの要素の中身は以下のようになっています。
この中の¥128を取得したいです。


 要素の中身

<td class="mainprice">
¥128
<span class="price_tax">
(税込)
</span>
<span>
定価より ¥386 おトク!
</span>                                   
<th class="tab01">
中古価格
</th>
</td>

実行しているphpプログラムは以下の通りです。

 該当のソースコード

 <?php

  /* HTML特殊文字をエスケープする関数 */
function h($str) {
    return htmlspecialchars($str, ENT_QUOTES, 'UTF-8');
}

if (1) {
    // コンテンツを取得
    $ch = curl_init();
    curl_setopt_array($ch, [
        CURLOPT_URL => 'http://www.bookoffonline.co.jp/display/L001,q=%2582%25A0%2582%25CC%2589%25D4',
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_AUTOREFERER => true,
        CURLOPT_USERAGENT => 'Mozilla/5.0',
        CURLOPT_ENCODING => 'gzip',
    ]);
    $html = curl_exec($ch);

    // エラーを出さずにDOMDocumentに読み込む
    $dom = new DOMDocument;
    @$dom->loadHTML($html);

    $xpath = new DOMXPath($dom);

    $aa[0]=$xpath ->query('//*[@id="resList"]/form/div[4]/div[3]/div[1]/div[2]/table/tbody/tr[2]/td')->item(0)->nodeValue;

    echo $aa[0];
}
?>

$xpath ->queryを実装中に以下のエラーメッセージが発生しました。

 発生している問題・エラーメッセージ

Notice: Trying to get property 'nodeValue' of non-object in C:\xampp\htdocs\tatsuki\title.php on line 27

 該当のソースコード

 $aa[0]=$xpath ->query('//*[@id="resList"]/form/div[4]/div[3]/div[1]/div[2]/table/tbody/tr[2]/td')->item(0)->nodeValue;

 試したこと

xpath->queryがいけないのかと思い、以下のページを参考にxpath->evaluateも使ってみましたが上手く行きませんでした。

https://qiita.com/mpyw/items/c0312271819baee09132#domnodelist-%E3%82%AF%E3%83%A9%E3%82%B9

https://qiita.com/mpyw/items/0454c46b7c1cc06ef5c8

正直xpath->queryとxpath->evaluateの違いは理解しておりません。
ちなみにxpath->evaluateを使用したときは、xpath->queryのところを
変更しました。プログラムは以下の通りです。

 該当のソースコード

<?php

  /* HTML特殊文字をエスケープする関数 */
function h($str) {
    return htmlspecialchars($str, ENT_QUOTES, 'UTF-8');
}

if (1) {
    // コンテンツを取得
    $ch = curl_init();
    curl_setopt_array($ch, [
        CURLOPT_URL => 'http://www.bookoffonline.co.jp/display/L001,q=%2582%25A0%2582%25CC%2589%25D4',
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_AUTOREFERER => true,
        CURLOPT_USERAGENT => 'Mozilla/5.0',
        CURLOPT_ENCODING => 'gzip',
    ]);
    $html = curl_exec($ch);

    // エラーを出さずにDOMDocumentに読み込む
    $dom = new DOMDocument;
    @$dom->loadHTML($html);

    $xpath = new DOMXPath($dom);

    //$aa[0]=$xpath ->query('//*[@id="resList"]/form/div[4]/div[3]/div[1]/div[2]/table/tbody/tr[2]/td')->item(0)->nodeValue;

    $b = $xpath->query('//*[@id="resList"]/form/div[4]/div[3]/div[1]/div[2]/table/tbody')->item(0);
    $aa[0] = $xpath->evaluate('string(.//tr[2]/td)', $b);

    echo $aa[0];
}
?>

エラーメッセージはありませんが、全く関係ない要素が取得されます。
知識がなさすぎるためとんちんかんではありますが、どなたか教えてください。
宜しくお願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • yonaja

    2018/09/25 11:33

    コードブロックの件は大変失礼いたしました。スクレイピングが利用規約に触れるとのご指摘ありがとうございます。確認したところ、規約等に「スクレイピングは禁止」もしくは「プログラムによる自動取得は禁止」に類する文章はありませんでした。

    キャンセル

  • mts10806

    2018/09/25 11:40

    質問は編集可能なので適宜ご対応いただければと。 「禁止事項」のところがかなりグレーな書き方しているので微妙ですね。あくまでローカルで学習のためだけにとどめておいたほうが良いかなと。もし公開するつもりなのであれば事前に問い合わせをしておけば確実です。

    キャンセル

  • yonaja

    2018/09/25 11:44

    修正しました。初めて使ったので読みにくい質問で申し訳ございませんでした。公開する予定はありません。ですがご指摘の通り問い合わせしてみることにします。ありがとうございました。

    キャンセル

回答 2

checkベストアンサー

+2

$aa[0]=$xpath ->query('//*[@id="resList"]/form/div[4]/div[3]/div[1]/div[2]/table/tr[2]/td')->item(0)->nodeValue;



¥128(税込)定価より ¥386 おトク!が取れます。

多分chromeのcopyasxmlをしたのだと思いますがtbodyはchromeが解釈して追加したもので、ソースのhtmlにはそのタグはないので、取れなかったんでしょう。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

ブラウザで、そのページのHTMLソースを表示させて、そのXPath記述でちゃんと目的の要素にたどり着けるか確認して下さい。
tbodyが実際のHTMLにないというのがありがちです。

//td[@class="mainprice"]の方が良いのでは?複数あるかも知れませんが。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

同じタグがついた質問を見る

  • PHP

    24450questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • スクレイピング

    485questions

    スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

  • XPath(XML Path)

    93questions

    XML Path Language (XPath; XMLパス言語)は、マークアップ言語 XML に準拠した文書の特定の部分を指定する言語構文の事をいいます。XPathはXMLとは別の構文を使用します。XMLドキュメントの抽象、論理ストラクチャ上で動作します。

  • トップ
  • PHPに関する質問
  • DOMXPathでスクレイピングしようとしているのですが、知識不足でエラーを解決できません。