PHPを使ったWebスクレイピングのアクセスについて
解決済
回答 1
投稿
- 評価
- クリップ 1
- VIEW 3,283
PHPのWebスクレイピングで、分からない点があって困っています。
以下のコードですが、あるサイトにアクセスして取り出したデータを元に、さらに次のページへアクセスするというものですが、コメント部のSTEP1では、対象のデータを正規表現で取り出すことに成功していますが、
続くSTEP2で、STEP1で抽出したデータを使用しても、
PHP Warning: file_get_contents(http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp): failed to open stream: HTTP request failed! HTTP/1.1 500 Internal Server Error
と出てしまい、アクセスすることができないのです。
本当ならば、
http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp?for_domestic=yes&fit_group=31
という形でアクセスしたいです。
どなたかこれの解決方法をご教授いただけないでしょうか?
よろしくお願い致します。
<?php
/**
* Web Scraping
*/
require_once 'simple_html_dom.php';
class sample {
public $list = array();
/**
* __construct
*/
function __construct() {
$this->getList();
}
/**
* 指定したURLにデータとPOSTを送信
*/
function post($url, $data) {
$headers = array('Content-Type: application/x-www-form-urlencoded');
$options = array('http' => array(
'method' => 'POST',
'content' => http_build_query($data),
'header' => implode("\r\n", $headers),
));
return file_get_contents($url, false, stream_context_create($options));
}
/**
* 取得する全リストを取得
*/
function getList() {
// Step 1
$url = 'http://www.bosch.co.jp/jp/aa/fit_search/step-1.asp';
$data = array(
'none' => ''
);
$html = str_get_html($this->post($url, $data));
$script = $html->find('ul[id=groupList_category_2_domestic]', 0);
preg_match_all('/<a href=".\/(.+?)"*>/', $script, $matches_1);
foreach ($matches_1[1] as $v) {
preg_match('/.*=(.+?)&.*/', $v, $for_inout);
preg_match('/.*=([1-9]{1}[0-9]{0,1})/', $v, $fit_group);
$data = array(
'for_domestic' => $for_inout,
'fit_group' => $fit_group,
);
// Step 2
$url = 'http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp';
$html = str_get_html($this->post($url, $data));
}
$html->clear();
unset($html);
}
}
$a = new sample();
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
+3
http://www.bosch.co.jp/jp/aa/fit_search/step-2.asp?for_domestic=yes&fit_group=31
ならなぜPOSTしているのでしょうか?これはGETのリクエストですが…
(対象サイトを普通にWebブラウザで見て利用してみましたが,通信ログを見る限りGETリクエストしか取り扱ってないかと…)
public function get($url, array $data = []) {
return file_get_contents($url . '?' . http_build_query($data, '', '&'));
}
このメソッドを使えばいいです.
(ただ,file_get_contents
はHTTP/1.0にてTCPコネクションを再利用しないようになっているので,cURLを使ったコードに変えてHTTP/1.1でTCPコネクションを再利用するようにしたほうが,サイトに対する負荷も実行時間も短くなりますので,書き換えをおすすめします)
【蛇足】
こういうクラス作っておくと使い勝手いいと思います.
<?php
class Scraper
{
private $ch;
public function __construct()
{
$this->ch = curl_init();
curl_setopt_array($this->ch, [
CURLOPT_COOKIEFILE => '',
CURLOPT_FAILONERROR => true,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_FOLLOWLOCATION => true,
]);
}
public static function createDOMXPath($content)
{
$dom = new \DOMDocument;
@$dom->loadHTML($content);
return new \DOMXPath($dom);
}
public function get($url, array $params = [])
{
curl_setopt_array($this->ch, [
CURLOPT_URL => $url . '?' . http_build_query($params, '', '&'),
CURLOPT_HTTPGET => true,
]);
$response = curl_exec($this->ch);
if ($response === false) {
throw new \RuntimeException(curl_error($this->ch));
}
return $response;
}
public function post($url, array $params = [])
{
curl_setopt_array($this->ch, [
CURLOPT_URL => $url,
CURLOPT_POST => true,
CURLOPT_POSTFIELDS => http_build_query($params, '', '&'),
]);
$response = curl_exec($this->ch);
if ($response === false) {
throw new \RuntimeException(curl_error($this->ch));
}
return $response;
}
public function getXPath($url, array $params = [])
{
return self::createDOMXPath($this->get($url, $params));
}
public function postXPath($url, array $params = [])
{
return self::createDOMXPath($this->post($url, $params));
}
}
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう!
- ただいまの回答率 88.37%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
2016/04/09 13:17
http://qiita.com/mpyw/items/c0312271819baee09132