ログインが必要なページを取得、スクレイピングしたいが、うまくいかない

Question

###前提・実現したいこと
LINE STORE のマイページをスクレイピングして、「マイクレジット」の残高を表示させたい

###発生している問題・エラーメッセージ
こちらに配布されていたcURL.phpを利用して、利用例を参考にしながら下記コードを書いたところ、ログインに失敗し、エラーが発生している

どうすればエラーを出さずに、きちんとログインできるのか教えてもらえませんでしょうか...?

###ソースコード

<?php 
require 'cURL.php';

class LINE extends cURL {

    public function __construct($mail, $password) {
        parent::__construct('Chrome');
        $this->get('https://store.line.me/login/ja?url=%2Fhome%2Fja');
        $this->post(
            'https://channel.line.naver.jp/dialog/oauth/weblogin?returnUrl=%2Fhome%2Fja&channelId=1376922440&state=cscyWuVKEi&redirectUrl=https%3A%2F%2Fstore.line.me%2FloginResult%3FreturnUrl%3D%252Fhome%252Fja',
            array(
                'tid' => $mail,
                'tpasswd' => $password,
            ),
            $info
        );
        if ($info['url'] !== 'https://store.line.me/home/ja') {
            throw new RuntimeException('ログインに失敗しました');
        }
    }

    public function getHistory() {
        $regex = implode('.*?', array(
            '<p class="mdCMN18CashDesc"><span>￥(\d*+)</span></p>'
        ));
        $regex = "@{$regex}@s";
        $str = $this->get('https://store.line.me/mypage/PAYMENT/ja');
        if (!preg_match_all($regex, $str, $matches, PREG_SET_ORDER)) {
            throw new RuntimeException('取得に失敗しました');
        }
        foreach ($matches as $match) {
            echo $match;
        }
    }

}

$line = new LINE('mail', 'pass');
$line->getHistory();


 ?>

Answer 1

LINE STORE利用規約より

1. 禁止事項

9.10. 本サービスのサーバやネットワークシステムに支障を与える行為、BOT、チートツール、その他の技術的手段を利用してサービスを不正に操作する行為、本サービスの不具合を意図的に利用する行為、同様の質問を必要以上に繰り返す等、当社に対し不当な問い合わせまたは要求をする行為、その他当社による本サービスの運営または他のお客様による本サービスの利用を妨害し、これらに支障を与える行為。
9.11. 上記9.1.から9.10.のいずれかに該当する行為を援助または助長する行為。

これらの規約に違反する可能性について、確認済みでしょうか？
確認済みであれば回答します。

---

「スクレイピング」ではなく「ログイン処理」のところできちんと動作しない原因、解決策を教えていただけないでしょうか。

解決策までは提示できません。が、少なくともログインページには下のスクリーンショットにもあるように、数種類のフォーム要素が設定されていますね。これらの値と役割を解析し、ブラウザの挙動をソースコード上で再現しない限りログインはできません。

Comments

[roel1]

回答ありがとうございます。そちらにつきましては確認済みです。

[退会済みユーザー]

どのような方法で確認し、どのような回答をもらっているのかを明示願います。

[roel1]

スクレイピングをするにあたって、まず利用規約を確認し、「本サービスのサーバやネットワークシステムに支障を与える行為」とならないよう、実行頻度を週1とするようにしました。自己判断です。

LINE運営側には連絡はとっていません。

[退会済みユーザー]

そういうことですか。
ではここでアドバイスする行為が、

> 9.11. 上記9.1.から9.10.のいずれかに該当する行為を援助または助長する行為。

に触れないとも言えませんね。

[roel1]

それは仰るとおりです。

では、「スクレイピング」ではなく「ログイン処理」のところできちんと動作しない原因、解決策を教えていただけないでしょうか。

「ログイン」であればごく普通の処理であり「本サービスのサーバやネットワークシステムに支障を与える行為」には該当しない行為になるかと思いますが...

[退会済みユーザー]

気持ちはわからないではありませんが、それはスクレイピングしたい人の論理で、LINEの見解ではありませんからね。
プログラミングを生業としている私としては、金にもならないボランティアでリスクを負いたくありません。

[roel1]

ですよね...。すみません。この件に関しては自分で解決しようと思います。

回答ありがとうございました。

[roel1]

追記ありがとうございます！！

よく考えてなんとか解決してみます。