質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Gmail

GmailとはGoogleによって提供されているウェブメールのサービスのことです。

Java

Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

ログイン

ログインは、ユーザーがコンピューターシステムにアクセスするプロセスの事を呼びます。

Q&A

解決済

1回答

1649閲覧

ログインしないと使用できないサイトのスクレイピング

cretter

総合スコア91

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Gmail

GmailとはGoogleによって提供されているウェブメールのサービスのことです。

Java

Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

ログイン

ログインは、ユーザーがコンピューターシステムにアクセスするプロセスの事を呼びます。

0グッド

0クリップ

投稿2021/07/09 02:38

JavaでGoogleのGmailの受信トレイにあるメールのタイトルをjsoupを使ってスクレイピングするとき、アカウントにログインしていない判定になっていて取得したいタイトルが取得できません。いろいろアカウントを変えてGmailのurlを出しましたが全部https://mail.google.com/mail/u/0/#inboxになっていて工夫の仕方が分かりません。どうすればログインした判定になれますか。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

そもそもなぜログインが必要かということを考えれば明白ではないでしょうか。
スクレイピングはグレーな部分が多く、ログイン不要でアクセス可能な情報でもサービス規約で明確に「不正である」「違反である」「禁止」とうたっているところもあるくらいです。
利用が個人であろうと趣味であろうと関係ないです。

それにGoogleはそのような行為をしなくて良いように多数のAPIを提供しています。
スクレイピングみたいなことをしなくても今回はGmail APIを使えばやりたいことは実現可能では?

これに限らず、公式に許可を得られないのであれば提供されているAPIを利用するか、提供されていなければ諦めるのが自分のみを守ることにも繋がります。

投稿2021/07/09 03:02

m.ts10806

総合スコア80765

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

cretter

2021/07/09 06:17

もう少しスクレイピングを調べてみます。
hope_mucci

2021/07/09 06:27

スクレイピングやクローリングはやりようによっては相手側のサーバーに深刻な負荷を与える可能性があるので、一般的なサービスを提供しているサイトでは忌避されています。 忌避されているかどうかは"robots.txt"を参照するのがおそらく一番効果的です。 詳細は下記記事を参考にしてください。 https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard また、実際にアクセス障害等の被害が発生した場合、根本原因よりも相手の被害感情が警察の判断に影響することが多いです。以下の記事も読んでスクレイピングの危険性を知ってください。 https://ja.wikipedia.org/wiki/%E5%B2%A1%E5%B4%8E%E5%B8%82%E7%AB%8B%E4%B8%AD%E5%A4%AE%E5%9B%B3%E6%9B%B8%E9%A4%A8%E4%BA%8B%E4%BB%B6 目的がスクレピングそのものであるのであれば、robots.txtで拒否されていないサイトを探して慎ましく実行するか、ローカル環境にダミーサイトを立ち上げてそちらに対してスクレイピングすると良いかと思います。Gmailのヘッダを取得するのが目的であればm.ts10806さんの回答のようにGoogleが提供するAPIを使用してください。
K_3578

2021/07/09 06:31

うーん、私が過去回答でスクレイピングがしたいのかなって言ってしまったが故にかな。 なんかやたらめったら初学者の人がスクレイピングしたがりますけど、 hope_mucciさんが仰るように忌避される事の方が多いですし、APIを使う事をまず考えた方が 良いと思います。
m.ts10806

2021/07/09 06:34

hope_mucciさん 補足ありがとうございます。 ただサービスがスクレイピングに対して言及されてないからとやっていい理由にはならないので、「しなくて済むやり方」を優先検討するべきです。 どうしてもというのでしたらサービス運営者に事情を説明して許可を得ること。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問