いつも大変参考にさせていただいています。
件名について、有識者様へ質問です。
simple_html_dom.phpを使い、とあるサイトをスクレイピングしていましたが、ある日から相手先サーバからアクセスブロックされるようになりました。
やっている方法は極めて単純なもので、下記のようにして相手先の情報を取得しています。
php
1$sUrl = "ここに目的のサイトURL"; 2$html = file_get_html($sUrl);
■現象
先日、スクレイピングをしていたサーバで、異変に気づいたので、調べてみると、file_get_htmlするタイミングでNULLが帰ってくるようになりました。
ログを見ると、相手先サーバからブロックされている形跡がありました。
■試したこと
試しに、プログラム全体を別サーバへ設置し、動作させると問題なくデータ取得ができました。
■質問
そこで、有識者様にお聞きしたいのですが、simple_html_domで、実行時の環境変数(ユーザエージェント?)を指定し、違うサーバから動作しているようにセッティングすることはできるでしょうか?
サーバを変更するとうまくいくので、環境変数ではなく、実行サーバのIPアドレスをチェックされているのかもしれませんが、なんとか回避する方法を模索しています。(できれば別サーバは使わない方向です)
以上になります。どうぞよろしくお願いいたします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。