質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.47%

  • PHP

    20901questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • HTTPヘッダー

    92questions

    Hypertext Transfer Protocol(HTTP)の中のHTTPヘッダフィールドはHTTPの要求やレスポンスの機能しているパラメーターが含まれます。その要求もしくはレスポンスライン(メッセージの最初の一行)でメッセージヘッダを作ります。

  • HttpWebRequest

    54questions

    HttpWebRequestとは.NETにおけるクラスであり、WebRequestクラスをHTTPに導入するものです。

PHPを使ったWebスクレイピングのアクセスについて

解決済

回答 1

投稿

  • 評価
  • クリップ 1
  • VIEW 1,423

TakuyaHidaka

score 130

PHPのWebスクレイピングで、分からない点があって困っています。

以下のコードですが、あるサイトにアクセスして取り出したデータを元に、さらに次のページへアクセスするというものですが、コメント部のSTEP1では、対象のデータを正規表現で取り出すことに成功していますが、
続くSTEP2で、STEP1で抽出したデータを使用しても、

PHP Warning:  file_get_contents(http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp): failed to open stream: HTTP request failed! HTTP/1.1 500 Internal Server Error

と出てしまい、アクセスすることができないのです。

本当ならば、
http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp?for_domestic=yes&fit_group=31
という形でアクセスしたいです。

どなたかこれの解決方法をご教授いただけないでしょうか?
よろしくお願い致します。

<?php
/**
 * Web Scraping
 */

require_once 'simple_html_dom.php';

class sample {

  public $list = array();

  /**
   * __construct
   */
  function __construct() {
    $this->getList();
  }

  /**
   * 指定したURLにデータとPOSTを送信
   */
  function post($url, $data) {
    $headers = array('Content-Type: application/x-www-form-urlencoded');
    $options = array('http' => array(
        'method' => 'POST',
        'content' => http_build_query($data),
        'header' => implode("\r\n", $headers),
    ));
    return file_get_contents($url, false, stream_context_create($options));
  }

  /**
   * 取得する全リストを取得
   */
  function getList() {

    // Step 1
    $url = 'http://www.bosch.co.jp/jp/aa/fit_search/step-1.asp';
    $data = array(
      'none' => ''
    );
    $html = str_get_html($this->post($url, $data));
    $script = $html->find('ul[id=groupList_category_2_domestic]', 0);  
    preg_match_all('/<a href=".\/(.+?)"*>/', $script, $matches_1);

    foreach ($matches_1[1] as $v) {
      preg_match('/.*=(.+?)&.*/', $v, $for_inout);
      preg_match('/.*=([1-9]{1}[0-9]{0,1})/', $v, $fit_group);
      $data = array(
        'for_domestic' => $for_inout,
        'fit_group' => $fit_group,
      );

      // Step 2
      $url = 'http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp';
      $html = str_get_html($this->post($url, $data));
    }

    $html->clear();
    unset($html);
  }

}

$a = new sample();
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+3

http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp?for_domestic=yes&fit_group=31

ならなぜPOSTしているのでしょうか?これはGETのリクエストですが…
(対象サイトを普通にWebブラウザで見て利用してみましたが,通信ログを見る限りGETリクエストしか取り扱ってないかと…)

public function get($url, array $data = []) {
    return file_get_contents($url . '?' . http_build_query($data, '', '&'));
}

このメソッドを使えばいいです.
(ただ,file_get_contentsはHTTP/1.0にてTCPコネクションを再利用しないようになっているので,cURLを使ったコードに変えてHTTP/1.1でTCPコネクションを再利用するようにしたほうが,サイトに対する負荷も実行時間も短くなりますので,書き換えをおすすめします)


【蛇足】

こういうクラス作っておくと使い勝手いいと思います.

<?php

class Scraper
{
    private $ch;

    public function __construct()
    {
        $this->ch = curl_init();
        curl_setopt_array($this->ch, [
            CURLOPT_COOKIEFILE => '',
            CURLOPT_FAILONERROR => true,
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_FOLLOWLOCATION => true,
        ]);
    }

    public static function createDOMXPath($content)
    {
        $dom = new \DOMDocument;
        @$dom->loadHTML($content);
        return new \DOMXPath($dom);
    }

    public function get($url, array $params = [])
    {
        curl_setopt_array($this->ch, [
            CURLOPT_URL => $url . '?' . http_build_query($params, '', '&'),
            CURLOPT_HTTPGET => true,
        ]);
        $response = curl_exec($this->ch);
        if ($response === false) {
            throw new \RuntimeException(curl_error($this->ch));
        }
        return $response;
    }

    public function post($url, array $params = [])
    {
        curl_setopt_array($this->ch, [
            CURLOPT_URL => $url,
            CURLOPT_POST => true,
            CURLOPT_POSTFIELDS => http_build_query($params, '', '&'),
        ]);
        $response = curl_exec($this->ch);
        if ($response === false) {
            throw new \RuntimeException(curl_error($this->ch));
        }
        return $response;
    }

    public function getXPath($url, array $params = [])
    {
        return self::createDOMXPath($this->get($url, $params));
    }

    public function postXPath($url, array $params = [])
    {
        return self::createDOMXPath($this->post($url, $params));
    }

}

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2016/04/09 13:17

    蛇足ですが,Simple HTML DOM Parser を使ったCSSセレクタと正規表現のゴリ押しが入り乱れていて,パース方法に一貫性が無いように思います.私だったらPHP標準のDOMXPathだけで済ませちゃいますね.

    http://qiita.com/mpyw/items/c0312271819baee09132

    キャンセル

関連した質問

同じタグがついた質問を見る

  • PHP

    20901questions

    PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

  • HTTPヘッダー

    92questions

    Hypertext Transfer Protocol(HTTP)の中のHTTPヘッダフィールドはHTTPの要求やレスポンスの機能しているパラメーターが含まれます。その要求もしくはレスポンスライン(メッセージの最初の一行)でメッセージヘッダを作ります。

  • HttpWebRequest

    54questions

    HttpWebRequestとは.NETにおけるクラスであり、WebRequestクラスをHTTPに導入するものです。