サイトへの自動ログインが最初の数回は成功し、以降は失敗する原因について

Question

<?php
$homepage = file_get_contents('とあるサイトのURL');

preg_match('/PHPSESSID\" value=\"(\w+)/', $homepage, $match);
$phpsessid = $match[1];

preg_match_all('/hidden\" value=\"(\w+)/', $homepage, $match);
$hidden1 = $match[1][0];
$hidden2 = $match[1][1];
$hidden3 = $match[1][2];
$bot_check = $match[1][3];

//***** POST *****
$url = 'とあるサイトのURL';
$data = array(
    'username' => 'ユーザー名',
    'password' => 'パスワード',
    'login' => "ログイン",
    'PHPSESSID' => $phpsessid,
    $hidden1 => $hidden1,
    $hidden2 => $hidden2,
    $hidden3 => $hidden3,
    'bot_check' => $bot_check,
);

$headers = array(
    'Content-Type: application/x-www-form-urlencoded',
);

$options = array('http' => array(
    'method' => 'POST',
    'content' => http_build_query($data),
    'header' => implode("\r\n", $headers),
));
$contents = file_get_contents($url, false, stream_context_create($options));
echo $contents;

上記のPHPでとあるサイトへ自動ログインする処理を作りました。
最初の数回は無事ログインでき、ログイン後のhtmlが$contentsに返ってきましたが、その後はログイン後のhtmlが取得できなくなりました。
（$homepageにはログイン画面のhtmlが問題なく取得できており、またPOSTする各要素も問題ないことを確認しています）
この場合、どのような原因が考えられるでしょうか？
よろしくお願い致します。

追記：
ご指摘ありがとうございます。その後の調べた状況ですが、
「さくらインターネット」上では最初の数回成功した後は、ずっと失敗（ログイン後のhtmlが取得できない）が続いています。
また、別の環境でも試しているのですが、こちらは成功したり失敗したりという状況ですので、「実行しているサーバ環境」と「ログインしたいサービス側のサーバの状況（重さ？）」の問題ではないか…と推測しています。
以上、現状報告です。

Comments

[popobot]

一度失敗してから、成功したことはあるのでしょうか

[risaito74]

ご指摘ありがとうございます。追記させていただきました。上記の通り実行環境によって挙動が異なるので、サーバ依存の問題なのだろうか…と現状は考えています。

[popobot]

いくつか回答がついたので深追いはしませんが、環境やタイミングによって発生するならtimeoutとかが起きているのではないかとちょっと思いました。

Answer 1

具体的な回答ではありませんが、、

PHPコードの先頭に以下2行を追加し、どのようなエラーメッセージが表示されるか確認してみてください。

ini_set('display_errors',1);
error_reporting(E_ALL);

また、file_get_contents()の直後に以下の1行を追加し、どのようなレスポンスヘッダが返却されているのかも確認してみてください。

var_dump($http_response_header);

http://php.net/manual/ja/reserved.variables.httpresponseheader.php

最後に、質問文の

その後は取得できなくなりました。

について、
「何が取得されるのか」
あるいは
「どのような現象が発生するのか」
を具体的に記載すると、回答が付きやすくなると思います。

追記

完全に当てずっぽうの回答となりますが、
レスポンスヘッダーにConnection: closeとあり、サーバ側からTCP接続の切断を通知されていることから、
icchii様のコメントのように timeout が発生しているか、サーバ側に"不正アクセス"と見なされているのではないかと推測します。

"timeout"については、アクセスに成功する場合と失敗する場合それぞれでレスポンスが返って来るまでの時間を計測してみてください。
また、アクセスの頻度を落としたり、しばらく時間をあけてから再度、試してみたりすると、状況が変わるかも知れません。

"不正アクセス"については、リクエストヘッダーに"Content-Length"フィールドと"User-Agent"フィールドを追加してみてください。

HTTPの仕様によると、メッセージボディを含むリクエストには"Content-Length"ヘッダーフィールドが必須のようです。
https://www.w3.org/Protocols/rfc2616/rfc2616-sec4.html#sec4.4

For compatibility with HTTP/1.0 applications, HTTP/1.1 requests containing a message-body MUST include a valid Content-Length header field unless the server is known to be HTTP/1.1 compliant.

リクエストヘッダーに"Content-Length"フィールドを追加する方法は、以下などが参考になるかと思います。
http://php.net/manual/ja/function.file-get-contents.php#102575

また、"User-Agent"フィールドが設定されていない場合、何らかのセキュリティ機構によって"不正アクセス"とみなされる可能性は高くなると思います。
PHP は、デフォルトの設定では"User-Agent"フィールドを設定しません。
http://php.net/manual/ja/filesystem.configuration.php

名前 デフォルト 変更可能 変更履歴

user_agent NULL PHP_INI_ALL PHP 4.3.0 から利用可能です。

他にも必要なリクエストヘッダーがあるかも知れませんので、HTTPや"とあるサイト"の仕様などを調べてみてください。

Comments

[risaito74]

ご指摘ありがとうございます。
先頭に2行追加しましたが、特にエラー出力などはありませんでした。
var_dumpは以下の通りです。
array(6) {
[0]=>
string(15) "HTTP/1.1 200 OK"
[1]=>
string(35) "Date: Wed, 11 Jan 2017 14:30:42 GMT"
[2]=>
string(14) "Server: Apache"
[3]=>
string(17) "Content-Length: 0"
[4]=>
string(17) "Connection: close"
[5]=>
string(39) "Content-Type: text/html; charset=EUC-JP"
}
「取得できる/できない」ですが、ログイン後の画面のhtmlを「取得できる」状態を成功、そのhtmlが返ってこない状態（null？空文字？）を「取得できない」＝失敗と表現していました。

[KiyoshiMotoki]

情報の追記、ありがとうございます。
回答欄に追記させていただきましたので、確認してみてください。

あと、コメント欄に記載いただいた情報は質問欄にも追記しておくことをお勧めします。
その方が多くの人の目に留まりやすいため、さらに回答を得やすくなると思いますので。

[risaito74]

ご丁寧にご助言いろいろとありがとうございます。いくつか検証すべき項目、正しく理解すべき事柄が見えてきましたので、一度本件はクローズにさせていただきます。大変ありがとうございました。

[KiyoshiMotoki]

Good luck!

Answer 2

一般的にPHPSESSIDって一時的なセッションidでしょうから、
先方のサーバーで失効されたら意味なくなりますよね。

基本的にログイン（サインイン）するたびにPHPSESSIDって一時的に生成されるものでしょうから、
ログイン後にPHPSESSIDを取得して保持するように仕組みの見直しが必要ではないかと。

Comments

[risaito74]

ありがとうございます。手動でログインするとログイン後のhtmlにPHPSESSIDがありますので、この「ログイン後のPHPSESSIDを入手すること」がプログラムの目的になっていますが、htmlから取得する以外の方法もあるだろうと思いますので、勉強しながら見直しを検討してみたいと思います。

[退会済みユーザー]

cURLとか使えそうですかね。[PHP: cURL - Manual](http://php.net/manual/ja/book.curl.php)

[risaito74]

はい、cURLの理解、導入検討もしてみます。ありがとうございます。

Answer 3

「取得できる/できない」ですが、ログイン後の画面のhtmlを「取得できる」状態を成功、そのhtmlが返ってこない状態（null？空文字？）を「取得できない」＝失敗と表現していました。

以下のようにignore_errorsを追加してください。
file_get_contents()でURLにアクセスした際、httpステータスが200以外の場合もコンテンツを取得するようになります。（「取得できない」＝失敗 の原因がわかります。）

$options = array('http' => array(
    'method' => 'POST',
    'content' => http_build_query($data),
    'header' => implode("\r\n", $headers),
    'ignore_errors' => true, 
));

Comments

[risaito74]

ありがとうございます。こちらも試してみたいと思います。様々な情報、ご助言を皆様からいただきましたので、一度クローズして各種検証をすすめてみたいと思います。