質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.36%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

セキュリティー

このタグは、コンピューターシステムの安全性やデータの機密性に関連したトピックの為に使われます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Google

Googleは、アメリカ合衆国に位置する、インターネット関連のサービスや製品を提供している企業です。検索エンジンからアプリケーションの提供まで、多岐にわたるサービスを提供しています。

Q&A

解決済

1回答

587閲覧

【スクレイピング】Googleアカウントにログインしてるかどうかで何が変わる?

sirayu

総合スコア5

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

セキュリティー

このタグは、コンピューターシステムの安全性やデータの機密性に関連したトピックの為に使われます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Google

Googleは、アメリカ合衆国に位置する、インターネット関連のサービスや製品を提供している企業です。検索エンジンからアプリケーションの提供まで、多岐にわたるサービスを提供しています。

0グッド

0クリップ

投稿2024/08/01 07:02

Chromeでスクレイピングをする際、Chromeログイン状態(Googleアカウント)でスクレイピングするのと普通に非ログイン状態のセッション(?)でスクレイピングするのとでは何が違ってきますか?

例えば、ログイン状態を維持できるサイトにスクレイピングしたい場合、Chromeログインしたほうが入力の手間が省けて楽だと思います。

でも、スクレイピングの痕跡(?)みたいなのは残ったりしやすいのか?とか、セキュリティ的に何か問題があるのでは?とか思っています。

どうかこの疑問を解消してください。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

maisumakun

2024/08/01 08:33

そもそも論ですが、他のツール・ライブラリではなく「Chromeで」スクレイピングを行おうと思った理由は何でしょうか?
meg_

2024/08/01 11:34

> 例えば、ログイン状態を維持できるサイトにスクレイピングしたい場合、Chromeログインしたほうが入力の手間が省けて楽だと思います。 googleにログインするのは手間ではないんでしょうか?またgoogleへの自動ログインは利用規約上どうなんでしょうか?
sirayu

2024/08/01 12:06

>「Chromeで」スクレイピングを行おうと思った理由 特に理由はないですが、初心者向けの記事でChromeを使っていたからですね。Edgeとかと違いがあるのですか?
maisumakun

2024/08/01 13:11

> Edgeとかと違いがあるのですか? グラフィカルなブラウザではないツールとの比較の意図でした。
sirayu

2024/08/02 09:09 編集

グラフィカルなブラウザではないツールとはテキストベースのブラウザ(Lynxとか)のことですか? ごめんなさい、質問の意図がよくわからないです。
hiroki-o

2024/08/02 13:57

例えば、Pythonで書いたプログラムとかでは? 個人的には、スクレイピングというと、そちらを連想します。
sirayu

2024/08/05 06:49

なるほど!言葉足らずで申し訳ないです。 はい、Pythonでプログラムしています。 私が言いたいのは、PythonでスクレイピングをするときのウェブサイトがEdgeなどではなくChromeということです。
guest

回答1

0

ベストアンサー

質問のポイントがよくわかりませんので、ばらばらと、あれこれ書いてみます。

例えば、ログイン状態を維持できるサイトにスクレイピングしたい場合、Chromeログインしたほうが入力の手間が省けて楽だと思います。

ログイン処理は数行で書けると思いますが、それを書くのが面倒なので、省きたいと言うことなのでしょうか?
画像選択のような「私は人間です」的なログイン処理が必要なサイトであれば、そもそもプログラムによるアクセスをして欲しくないと言うことでしょう。そうじゃなくてinputタグにIDとパスワードを入れるだけなら、ログイン処理は簡単でしょうね。

あるいは、サイトにログイン済みのプロファイルを指定してChromeを起動するという方法も、このサイトで何度か出ているので、その辺を参考にするのも良いかもしれません。

でも、スクレイピングの痕跡(?)みたいなのは残ったりしやすいのか?とか、

Chromeログインしようがしまいが、相手のサイトには「プログラムで制御されたChromeからのアクセスである」旨は伝わるので、同じだと思います。

セキュリティ的に何か問題があるのでは?とか思っています。

「セキュリティー的な問題」とは何のことでしょうか?
上に書いたように、相手サイトが自動処理を嫌っているのであれば、しちゃだめです。

あるいは、「あなたのアカウント名やパスワードが他サイトに漏れるか?」という観点であれば、自動処理は手動でやっていることを自動化しているだけなので、手動の時と同じでしょう。

投稿2024/08/02 13:28

otn

総合スコア85840

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sirayu

2024/08/05 07:00

回答ありがとうございます。 具体的に説明しますと、私は学校のサイトをスクレイピングしたいのですが、その過程で二要素認証付きのログインをしなければなりません。Google AuthenticatorによってOTPが生成されています。ChromeにはGoogle Authenticatorの拡張機能を入れています。そこでスクレイピングの際にChromeでログインしたまますれば拡張機能をポップアップさせてOTPを取得できるのではないかという発想に至ったのですが、ログイン状態でのスクレイピングに何か問題があるかもしれないと思い、質問しました。
otn

2024/08/08 16:11 編集

なるほど。てっきり「複数のPCやスマホで設定やブックマークを共有するためのChromeへのログイン」のことかと思っていました。 「一般論だと不可能という結論になるが、特定のケースに限定すれば解決策がある」ということもよくあるので、聞きたいことはダイレクトに書く方が良いですよ。 参考: https://ja.wikipedia.org/wiki/XY%E5%95%8F%E9%A1%8C 回答に書いた、 > あるいは、サイトにログイン済みのプロファイルを指定してChromeを起動するという方法も、このサイトで何度か出ているので、その辺を参考にするのも良いかもしれません。 を使えば、Googleへのログイン状態は保たれると思いますが、拡張機能の出すダイアログにSeleniumで操作できるんだっけな?Windowsならキー操作はwin32COMのsendkeysで出来るかも知れませんが、拡張機能の出すダイアログにでたワンタイムパスワードを取得したいと言うことであれば、JavaScriptで頑張るくらいでしょうかね。 汎用のRPAツールだと出来るかも知れません。RPAツールは使ったことないのでよく知りませんが。 拡張機能の出すダイアログの読み取りは分かりませんが、キー操作・マウス操作はできるはず。どこかをクリックするとワンタイムパスワードがクリップボードに入るのであれば、そういう手もあるかと思います。 Windowsだと、Microsoftから無料でPower Automate Desktopというツールが提供されています。 これも全部RPAツールでやるのでなく、Pythonプログラムをメインにして、部分的な処理だけRPAを呼び出すことも出来るかと思います。やったことないですが。 「夜中にタイマーで」とか「10分ごとに繰り返し実行」とかじゃなくて手動でのプログラム実行なら、そこだけ手作業にするのが簡単でしょう。 私もログイン処理が面倒なサイトだと、 input("このあと、手動でログインして、ログインできたらEnterを押す") とかにしたことあります。年に数回だけ必要な処理で、手動実行だったので。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問