とあるサイトをスクレイピングしてみた所何度やってもproxy errorが出てしまいます。

Question

下記のように記事URLを見つけて取得→読み込みを行ったところ何度やってもproxy error 502が出てしまいます。
※他のサイトではスクレイピングしてDBに流し込むところまでできたのですが今やっているサイトではそもそも記事URL取るまでずっと処理中の表示？で最終的に時間切れでproxy erroになってしまいます。

これはコードの問題なのでしょうか。

それともサーバーの処理能力の問題なのでしょうか。

詳しい方いましたらよろしくお願いします。

<?php
ini_set('display_errors', true);
error_reporting(E_ALL);

	require_once('phpQuery-onefile.php');
//
	$html = file_get_contents('http://.....jp');
	$dom  = phpQuery::newDocument( $html );

	foreach($dom['div.sample']->find("a") as $tmp){

				$a = pq($tmp);

				$attr = $a->attr("href");

var_dump($attr);


		$title = '';
		$body = '';
		$images = '';
                 
               
		

	}


	?>

Answer 1

502 Bad Gateway

不正なゲートウェイ。ゲートウェイ・プロキシサーバは不正な要求を受け取り、これを拒否した。

つまり、そのサイトでは別サーバープログラムからのアクセスを許可していないということでは。

Comments

[退会済みユーザー]

迅速な回答ありがとうございます。

Answer 2

プロクシを通すならcURLで処理するとよいでしょう