プロキシ経由でWebスクレイピング

プロキシ経由でスクレイピングをしたいと考えています。

具体的には「A」というメインサーバーから
「B」というプロキシサーバー経由で
Googleの検索結果をスクレイピングしたいです。

PCを立ち上げずに、
CRONなどでAサーバー内のプログラムを実行し、
Bを通してスクレイピングするイメージです。

とりあえずYahoo!のトップページを取得する
以下のプログラムを書きました(Aサーバーに置くプログラムです)。
━━━━━━━━━━━━━━━━━━

<?php $proxy = array( "http" => array( "proxy" => "tcp://(プロキシサーバーのIPアドレス):9987", "request_fulluri" => true, ) ); $proxy_context = stream_context_create($proxy); $contnts = file_get_contents('http://www.yahoo.co.jp/', false, $proxy_context); echo $contnts; ?>

━━━━━━━━━━━━━━━━━━

すると以下のようなエラーが表示されました。
━━━━━━━━━━━━━━━━━━
Warning: file_get_contents(http://www.yahoo.co.jp/): failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden in /home/xxx/www/proxy/index.php on line 20
━━━━━━━━━━━━━━━━━━

Bのプロキシサーバーは、
さくらVPSとSquidを使って自分で構築しています。

ブラウザでBプロキシ経由のアクセスに設定すると、
アクセスは正常にBのIPアドレスになりますので、
B自体は動作しているかと思います。

AサーバーでもBプロキシサーバーでも、
file_get_contentsは動作していました。

プロキシ経由で取得しようとすると、
このようなエラーが発生します。

こちら何か分かることはありますでしょうか。
何かあれば、教えていただけますと幸いです。

何卒よろしくお願いいたします。

行動規範の内容に同意します

回答3件

エラーメッセージの最後に

in /home/xxx/www/proxy/index.php on line 20

とありますが、これはプロキシ側のプログラムなのですよね？

その20行目でエラーが発生しているかのようなメッセージですけれども･･･
そこはYahoo!側にリクエストを投げる部分ですか？

もしそうなら、リクエストの為のパラメーターが想定通りに渡せていないというようなことはありませんか？

投稿2015/08/13 12:05

pi-chan

総合スコア5936

1nakaji

2015/08/13 16:19

ご回答ありがとうございます。なるほどですね。その辺りも検証させていただきます。ありがとうございます。

行動規範の内容に同意します

file_get_contents関数よりもcURL関数の方が細かく設定ができます。cURL関数でもProxyを設定できるので、こちらをお試しください。

PHP cURLの色々な使い方

投稿2015/08/13 06:46

退会済みユーザー

総合スコア0

1nakaji

2015/08/13 08:17

ご回答ありがとうございます。 cURLでも試していました。そちらでもエラーになってました。ヘッダーなどいじって試してみます。ありがとうございます。

行動規範の内容に同意します

ベストアンサー

txt
1Warning: file_get_contents(http://www.yahoo.co.jp/): failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden in /home/xxx/www/proxy/index.php on line 20

ここに書いてある通りですよね。アクセスをYahooのサーバーが拒否しているということ以下でも以上でもないと思うのですが…。

get_headers

ストリームコンテキストを変更しながら、レスポンスヘッダを地道に解析して突破する以外に方法はないでしょうね。

投稿2015/08/13 06:39

退会済みユーザー

総合スコア0