Q&A
そもそも論ですが、他のツール・ライブラリではなく「Chromeで」スクレイピングを行おうと思った理由は何でしょうか？
Chromeでスクレイピングをする際、Chromeログイン状態（Googleアカウント）でスクレイピングするのと普通に非ログイン状態のセッション（？）でスクレイピングするのとでは何が違ってきますか？
例えば、ログイン状態を維持できるサイトにスクレイピングしたい場合、Chromeログインしたほうが入力の手間が省けて楽だと思います。
でも、スクレイピングの痕跡（？）みたいなのは残ったりしやすいのか？とか、セキュリティ的に何か問題があるのでは？とか思っています。
どうかこの疑問を解消してください。
> 例えば、ログイン状態を維持できるサイトにスクレイピングしたい場合、Chromeログインしたほうが入力の手間が省けて楽だと思います。
googleにログインするのは手間ではないんでしょうか？またgoogleへの自動ログインは利用規約上どうなんでしょうか？
＞「Chromeで」スクレイピングを行おうと思った理由
特に理由はないですが、初心者向けの記事でChromeを使っていたからですね。Edgeとかと違いがあるのですか？
> Edgeとかと違いがあるのですか？
グラフィカルなブラウザではないツールとの比較の意図でした。
グラフィカルなブラウザではないツールとはテキストベースのブラウザ（Lynxとか）のことですか？
ごめんなさい、質問の意図がよくわからないです。
例えば、Pythonで書いたプログラムとかでは？
個人的には、スクレイピングというと、そちらを連想します。
なるほど！言葉足らずで申し訳ないです。
はい、Pythonでプログラムしています。
私が言いたいのは、PythonでスクレイピングをするときのウェブサイトがEdgeなどではなくChromeということです。
回答1件
0
ベストアンサー
質問のポイントがよくわかりませんので、ばらばらと、あれこれ書いてみます。
例えば、ログイン状態を維持できるサイトにスクレイピングしたい場合、Chromeログインしたほうが入力の手間が省けて楽だと思います。
ログイン処理は数行で書けると思いますが、それを書くのが面倒なので、省きたいと言うことなのでしょうか？
画像選択のような「私は人間です」的なログイン処理が必要なサイトであれば、そもそもプログラムによるアクセスをして欲しくないと言うことでしょう。そうじゃなくてinputタグにIDとパスワードを入れるだけなら、ログイン処理は簡単でしょうね。
あるいは、サイトにログイン済みのプロファイルを指定してChromeを起動するという方法も、このサイトで何度か出ているので、その辺を参考にするのも良いかもしれません。
でも、スクレイピングの痕跡（？）みたいなのは残ったりしやすいのか？とか、
Chromeログインしようがしまいが、相手のサイトには「プログラムで制御されたChromeからのアクセスである」旨は伝わるので、同じだと思います。
セキュリティ的に何か問題があるのでは？とか思っています。
「セキュリティー的な問題」とは何のことでしょうか？
上に書いたように、相手サイトが自動処理を嫌っているのであれば、しちゃだめです。
あるいは、「あなたのアカウント名やパスワードが他サイトに漏れるか？」という観点であれば、自動処理は手動でやっていることを自動化しているだけなので、手動の時と同じでしょう。
投稿2024/08/02 13:28
総合スコア85778
回答ありがとうございます。
具体的に説明しますと、私は学校のサイトをスクレイピングしたいのですが、その過程で二要素認証付きのログインをしなければなりません。Google AuthenticatorによってOTPが生成されています。ChromeにはGoogle Authenticatorの拡張機能を入れています。そこでスクレイピングの際にChromeでログインしたまますれば拡張機能をポップアップさせてOTPを取得できるのではないかという発想に至ったのですが、ログイン状態でのスクレイピングに何か問題があるかもしれないと思い、質問しました。
なるほど。てっきり「複数のPCやスマホで設定やブックマークを共有するためのChromeへのログイン」のことかと思っていました。
「一般論だと不可能という結論になるが、特定のケースに限定すれば解決策がある」ということもよくあるので、聞きたいことはダイレクトに書く方が良いですよ。
参考: https://ja.wikipedia.org/wiki/XY%E5%95%8F%E9%A1%8C
回答に書いた、
> あるいは、サイトにログイン済みのプロファイルを指定してChromeを起動するという方法も、このサイトで何度か出ているので、その辺を参考にするのも良いかもしれません。
を使えば、Googleへのログイン状態は保たれると思いますが、拡張機能の出すダイアログにSeleniumで操作できるんだっけな？Windowsならキー操作はwin32COMのsendkeysで出来るかも知れませんが、拡張機能の出すダイアログにでたワンタイムパスワードを取得したいと言うことであれば、JavaScriptで頑張るくらいでしょうかね。
汎用のRPAツールだと出来るかも知れません。RPAツールは使ったことないのでよく知りませんが。
拡張機能の出すダイアログの読み取りは分かりませんが、キー操作・マウス操作はできるはず。どこかをクリックするとワンタイムパスワードがクリップボードに入るのであれば、そういう手もあるかと思います。
Windowsだと、Microsoftから無料でPower Automate Desktopというツールが提供されています。
これも全部RPAツールでやるのでなく、Pythonプログラムをメインにして、部分的な処理だけRPAを呼び出すことも出来るかと思います。やったことないですが。
「夜中にタイマーで」とか「10分ごとに繰り返し実行」とかじゃなくて手動でのプログラム実行なら、そこだけ手作業にするのが簡単でしょう。
私もログイン処理が面倒なサイトだと、
input("このあと、手動でログインして、ログインできたらEnterを押す")
とかにしたことあります。年に数回だけ必要な処理で、手動実行だったので。
あなたの回答
tips
プレビュー
