php5.3
"electrolinux/phpquery": "0.9.6"
cronを使って、スクレイピングのコードを定期的に実行しているのですが、
phpqueryを導入してから、サーバーが過負荷の状態になってしまいます。
下のコードをコンソール実行すると一回目は、googleのページのソースを取得します。
PHP
1<?php 2 3require_once __DIR__ . '/../vendor/autoload.php'; 4 5$url = 'https://www.google.co.jp/'; 6//$url = 'https://www.yahoo.co.jp/'; 7 8 9$result = file_get_contents($url); 10 11$html = phpQuery::newDocument($result); 12print $html;
次にもう一度、yahooのページを取得しようと、コンソールで下のコードを実行します。
PHP
1<?php 2 3require_once __DIR__ . '/../vendor/autoload.php'; 4 5//$url = 'https://www.google.co.jp/'; 6$url = 'https://www.yahoo.co.jp/'; 7 8 9$result = file_get_contents($url); 10 11$html = phpQuery::newDocument($result); 12print $html;
そうすると、yahooのページ情報だけが、欲しいのですが、googleのページ情報も一緒に表示されてしまいます。
実行結果 googleのページ情報 yahooのページ情報
という感じになります。
これを実行するたびに、どんどん前回の実行結果が残っていってしまいます。
前回の実行結果を削除し、yahooのurlを指定したときは、yahooの実行結果のみを残したいです。
これが、サーバーへの過負荷の原因だと考えているのですが、
もし、これ以外の原因を思い当たる方がいましたら、追加で教えていただきたいです。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。