phpのfile_get_contentsがブラウザのアクセスに比べかなり時間がかかってしまう

Question

複数サイトの検索結果情報をまとめて取得しようと試みています。

ブラウザでアクセスした際は1秒程度で完了するものが

file_get_contentsで取得すると10秒前後かかってしまいます。

どのような原因が考えられますでしょうか？

メルカリの商品検索の取得に時間がかかっています。

ちなみにメルカリの検索以外のURLはいくつか試したところブラウザと同等の時間で取得完了します。

とりあえずユーザーエージェントを変えてみましたが変わりはありませんでした。

windowsのxampp環境から実行、ロリポップサーバーから実行してみましたが

共に同じような結果となりました。

正直プログラミングはググってコピペで乗り越えているレベルです。

よろしくお願いいたします。

Answer 1

元々file_get_contentsは遅いので
パフォーマンスを重視するなら
curlを使ったほうがいいですよ。

Comments

[poyon8989]

試してみましたところ1,2秒改善されました。アドバイスありがとうございます！

[Tak1016]

ヘッダーに適当なUserAgentつけてみるといいかも。ブラウザからのアクセスってことにすれば速く処理されるかもしれない。やってみないとわからないですけどね。

[poyon8989]

ユーザーエージェントは変更してみましたが、残念ながら変わりませんでした。そのようなアクセスはするな、ということかもしれませんので控えめに調べてみます。ありがとうございました。!

[退会済みユーザー]

> そのようなアクセスはするな
何言ってるんですか＾＾；普通に規約違反ですよ。。。

[poyon8989]

別の方法検討してみます。ありがとうございました。

Answer 2

もしかしたら先方がスクレーピングのスパム対策で
適当な遅延を意図的に発生させてるかもしれません。

PHPから一旦離れて、適当なクローラーでテストをしてみて
問題ないならcURLでもいけるかもしれませんね
最悪exec系の処理でクローラー経由でデータをもらうとかでもよいかも

あとDNSやPROXYの絡みも念の為チェックしておいてください

Comments

[poyon8989]

ご回答ありがとうございます。いろいろ検索しながら試してみたいと思います。