ログインしないと使用できないサイトのスクレイピング

Question

JavaでGoogleのGmailの受信トレイにあるメールのタイトルをjsoupを使ってスクレイピングするとき、アカウントにログインしていない判定になっていて取得したいタイトルが取得できません。いろいろアカウントを変えてGmailのurlを出しましたが全部https://mail.google.com/mail/u/0/#inboxになっていて工夫の仕方が分かりません。どうすればログインした判定になれますか。

Answer 1

そもそもなぜログインが必要かということを考えれば明白ではないでしょうか。
スクレイピングはグレーな部分が多く、ログイン不要でアクセス可能な情報でもサービス規約で明確に「不正である」「違反である」「禁止」とうたっているところもあるくらいです。
利用が個人であろうと趣味であろうと関係ないです。

それにGoogleはそのような行為をしなくて良いように多数のAPIを提供しています。
スクレイピングみたいなことをしなくても今回はGmail APIを使えばやりたいことは実現可能では？

これに限らず、公式に許可を得られないのであれば提供されているAPIを利用するか、提供されていなければ諦めるのが自分のみを守ることにも繋がります。

Comments

[cretter]

もう少しスクレイピングを調べてみます。

[hope_mucci]

スクレイピングやクローリングはやりようによっては相手側のサーバーに深刻な負荷を与える可能性があるので、一般的なサービスを提供しているサイトでは忌避されています。
忌避されているかどうかは"robots.txt"を参照するのがおそらく一番効果的です。
詳細は下記記事を参考にしてください。
https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard

また、実際にアクセス障害等の被害が発生した場合、根本原因よりも相手の被害感情が警察の判断に影響することが多いです。以下の記事も読んでスクレイピングの危険性を知ってください。
https://ja.wikipedia.org/wiki/%E5%B2%A1%E5%B4%8E%E5%B8%82%E7%AB%8B%E4%B8%AD%E5%A4%AE%E5%9B%B3%E6%9B%B8%E9%A4%A8%E4%BA%8B%E4%BB%B6

目的がスクレピングそのものであるのであれば、robots.txtで拒否されていないサイトを探して慎ましく実行するか、ローカル環境にダミーサイトを立ち上げてそちらに対してスクレイピングすると良いかと思います。Gmailのヘッダを取得するのが目的であればm.ts10806さんの回答のようにGoogleが提供するAPIを使用してください。

[K_3578]

うーん、私が過去回答でスクレイピングがしたいのかなって言ってしまったが故にかな。
なんかやたらめったら初学者の人がスクレイピングしたがりますけど、
hope_mucciさんが仰るように忌避される事の方が多いですし、APIを使う事をまず考えた方が
良いと思います。

[m.ts10806]

hope_mucciさん
補足ありがとうございます。

ただサービスがスクレイピングに対して言及されてないからとやっていい理由にはならないので、「しなくて済むやり方」を優先検討するべきです。
どうしてもというのでしたらサービス運営者に事情を説明して許可を得ること。