PHPを使ったWebスクレイピングのアクセスについて

Question

PHPのWebスクレイピングで、分からない点があって困っています。

以下のコードですが、あるサイトにアクセスして取り出したデータを元に、さらに次のページへアクセスするというものですが、コメント部のSTEP1では、対象のデータを正規表現で取り出すことに成功していますが、
続くSTEP2で、STEP1で抽出したデータを使用しても、

PHP Warning: file_get_contents(http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp): failed to open stream: HTTP request failed! HTTP/1.1 500 Internal Server Error

と出てしまい、アクセスすることができないのです。

本当ならば、
http://www.bosch.co.jp/jp/aa/fit_search/**step-2.asp?for_domestic=yes&fit_group=31**
という形でアクセスしたいです。

どなたかこれの解決方法をご教授いただけないでしょうか？
よろしくお願い致します。

<?php
/**
 * Web Scraping
 */

require_once 'simple_html_dom.php';

class sample {

  public $list = array();

  /**
   * __construct
   */
  function __construct() {
    $this->getList();
  }

  /**
   * 指定したURLにデータとPOSTを送信
   */
  function post($url, $data) {
    $headers = array('Content-Type: application/x-www-form-urlencoded');
    $options = array('http' => array(
        'method' => 'POST',
        'content' => http_build_query($data),
        'header' => implode("\r\n", $headers),
    ));
    return file_get_contents($url, false, stream_context_create($options));
  }

  /**
   * 取得する全リストを取得
   */
  function getList() {

    // Step 1
    $url = 'http://www.bosch.co.jp/jp/aa/fit_search/step-1.asp';
    $data = array(
      'none' => ''
    );
    $html = str_get_html($this->post($url, $data));
    $script = $html->find('ul[id=groupList_category_2_domestic]', 0);  
    preg_match_all('/<a href=".\/(.+?)"*>/', $script, $matches_1);

    foreach ($matches_1[1] as $v) {
      preg_match('/.*=(.+?)&.*/', $v, $for_inout);
      preg_match('/.*=([1-9]{1}[0-9]{0,1})/', $v, $fit_group);
      $data = array(
        'for_domestic' => $for_inout,
        'fit_group' => $fit_group,
      );

      // Step 2
      $url = 'http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp';
      $html = str_get_html($this->post($url, $data));
    }

    $html->clear();
    unset($html);
  }

}

$a = new sample();

Answer 1

http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp?**for_domestic=yes&fit_group=31**

ならなぜPOSTしているのでしょうか？これはGETのリクエストですが…
(対象サイトを普通にWebブラウザで見て利用してみましたが，通信ログを見る限りGETリクエストしか取り扱ってないかと…)

public function get($url, array $data = []) {
    return file_get_contents($url . '?' . http_build_query($data, '', '&'));
}

このメソッドを使えばいいです．
（ただ，file_get_contentsはHTTP/1.0にてTCPコネクションを再利用しないようになっているので，cURLを使ったコードに変えてHTTP/1.1でTCPコネクションを再利用するようにしたほうが，サイトに対する負荷も実行時間も短くなりますので，書き換えをおすすめします）

---

【蛇足】

こういうクラス作っておくと使い勝手いいと思います．

<?php

class Scraper
{
    private $ch;
    
    public function __construct()
    {
        $this->ch = curl_init();
        curl_setopt_array($this->ch, [
            CURLOPT_COOKIEFILE => '',
            CURLOPT_FAILONERROR => true,
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_FOLLOWLOCATION => true,
        ]);
    }
    
    public static function createDOMXPath($content)
    {
        $dom = new \DOMDocument;
        @$dom->loadHTML($content);
        return new \DOMXPath($dom);
    }
    
    public function get($url, array $params = [])
    {
        curl_setopt_array($this->ch, [
            CURLOPT_URL => $url . '?' . http_build_query($params, '', '&'),
            CURLOPT_HTTPGET => true,
        ]);
        $response = curl_exec($this->ch);
        if ($response === false) {
            throw new \RuntimeException(curl_error($this->ch));
        }
        return $response;
    }
    
    public function post($url, array $params = [])
    {
        curl_setopt_array($this->ch, [
            CURLOPT_URL => $url,
            CURLOPT_POST => true,
            CURLOPT_POSTFIELDS => http_build_query($params, '', '&'),
        ]);
        $response = curl_exec($this->ch);
        if ($response === false) {
            throw new \RuntimeException(curl_error($this->ch));
        }
        return $response;
    }
    
    public function getXPath($url, array $params = [])
    {
        return self::createDOMXPath($this->get($url, $params));
    }
    
    public function postXPath($url, array $params = [])
    {
        return self::createDOMXPath($this->post($url, $params));
    }
    
}

Comments

[mpyw]

蛇足ですが，Simple HTML DOM Parser を使ったCSSセレクタと正規表現のゴリ押しが入り乱れていて，パース方法に一貫性が無いように思います．私だったらPHP標準のDOMXPathだけで済ませちゃいますね．

http://qiita.com/mpyw/items/c0312271819baee09132