質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.10%

phpQueryでスクレイピングを行いたい

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 691

score 21

 前提・実現したいこと

いろんなサイトの店舗情報を取得してAPIのインターフェースのサンプルを作ってます。
そこでphpQueryでスクレイピングを行っているのですがうまくいったサイトとそうでないサイトがありました。

同じように行っているのですが片方だけ失敗。
簡単な指定でも取得できないためコードの誤りと2つのサイトの違いをご教示いただきたいです。

 発生している問題・エラーメッセージ

 該当のソースコード

失敗するコード

<?php
require_once("./phpQuery-onefile.php");

const BASE_URL = "http://www.pacificgolf.co.jp/course/";
$doc = phpQuery::newDocumentFile(BASE_URL);

foreach ($doc["#tab_01"]->find("#lookTable2") as $golf_course){
    $shop_name = pq($golf_course)->find("tbody")->find('.c_name')->find('a');
    $shop_detail = pq($golf_course)->find("#lookTable2")->find("tbody")->find('.c_name')->find('a')->attr('href');
    $business_hours = pq($golf_course)->find('.tel');
    $shop_tel = pq($golf_course)->find("#lookTable2")->find("tbody")->find('.tel');
    $shop_address = pq($golf_course)->find("#lookTable2")->find("tbody")->find('.address');
    //$address_memo = pq($shopInfo)->find('.shopListInfoWrapper')->find('.shopListInfo02')->find('.shopListInfo02Text02');

    $jsonData[] = [
        'name' => $shop_name,
        'link' => $shop_detail,
        'business_hours' => $business_hours,
        'shop_tel' => $shop_tel,
        'address' => $shop_address,
        //'address_memo' => $address_memo
    ];
}
$json = json_encode($jsonData);

?>

成功するコード

<?php
require_once("./phpQuery-onefile.php");

const BASE_URL = "https://www.alpen-group.jp/store/sportsdepo_alpen/shop_search/";
const TOP_URL = "https://www.alpen-group.jp/store/sportsdepo_alpen/";

$doc = phpQuery::newDocumentFile(BASE_URL);

foreach ($doc[".shopListSectionWrapper"]->find(".shopListBox") as $shopInfo){
    $shop_name = pq($shopInfo)->find('.shopListBoxInner')->find('.shopListBoxTitleWrapper')->find('.shopListBoxTitle')->find('a');
    $shop_detail = pq($shopInfo)->find('.shopListBoxInner')->find('.shopListBoxTitleWrapper')->find('.shopListBoxTitle')->find('a')->attr('href');
    $shop_detail = str_replace("../", TOP_URL, $shop_detail);
    $business_hours = pq($shopInfo)->find('.shopListInfoWrapper')->find('.shopListInfo01')->find('dd:eq(0)');
    $business_hours = rtrim($business_hours);
    $shop_tel = pq($shopInfo)->find('.shopListInfoWrapper')->find('.shopListInfo01')->find('dd:eq(1)');
    $shop_address = pq($shopInfo)->find('.shopListInfoWrapper')->find('.shopListInfo02')->find('.shopListInfo02Text01');
    $address_memo = pq($shopInfo)->find('.shopListInfoWrapper')->find('.shopListInfo02')->find('.shopListInfo02Text02');

    $jsonData[] = [
        'name' => $shop_name,
        'link' => $shop_detail,
        'business_hours' => $business_hours,
        'shop_tel' => $shop_tel,
        'address' => $shop_address,
        'address_memo' => $address_memo
    ];
}
$json = json_encode($jsonData);
var_dump($json);
?>

 補足情報(FW/ツールのバージョンなど)

CentOS Linux release 7.4.1708 (Core) 
PHP 7.1.17 (cli) (built: Apr 25 2018 08:30:10) ( NTS )
Copyright (c) 1997-2018 The PHP Group
Zend Engine v3.1.0, Copyright (c) 1998-2018 Zend Technologies

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

find("#lookTable2") など、指定がダブルクォーテーションになってました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.10%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る