【python】スクレイピングの際のログインと画像認証を手動で突破させたい

Question

やりたいこと：ログインと画像認証が必要なサイトのスクレイピングを行いたい

想定手順
1.pythonでブラウザを生成(chroniumなど?)
2.ログインページにアクセスし、ユーザー情報と画像認証(recapthaではない)を手動で入力し、ログイン
3.ログイン後のページをBeautifulsoupで取得し、スクレイピング

わからないこと：手順1,2

同じようなことをしているツールでも画像認証の際にはツール側でブラウザを立ち上げユーザー情報と画像認証を手動で突破させた後、スクレイピングが開始している動作をしていました

Beautifulsoupでのスクレイピングは経験済みなのですが、ブラウザを生成してリクエストを飛ばし、返ってきた情報をスクレイピングするということをやったことがないので質問させていただきました

足りない情報があれば質問お願いします

Comments

[tiitoi]

画像認証はボット等のアクセスを弾くために導入しているのだと思いますが、そのスクレイピングしようとしているサイトはプログラムによるアクセスを規約で許可しているのでしょうか？

[race]

データの転載などではない限り許可されています。
また、スクレイピングによるデータ自体も私的利用の範囲に抑えるため、規約に違反していないという認識です。

Answer 1

わざわざPythonとか使わなくてもUipathとかRPAを使ったほうがいいのでは？

https://dekiru.net/article/17705/
https://dekiru.net/article/17717/

Comments

[yamato_user]

お金かかるし、自由度低くないですか？

[yamato_user]

小規模事業者無料みたいなのもあるんですね

[barobaro]

Uipathなら無料のCommunityエディションがあります。
操作必要なものならseleniumを使うより簡単にすぐ作れます。
動かすまでに時間がかかるのと、一部を取り出すのが難しい以外は
自分の用途の範囲でしたらなんとか使えます。

Answer 2

わからないこと：手順1,2

手順1は「調べろよ」としか言いようがない（ヒント：Selenium）
手順2はwebdriverwait等を使って、手動操作完了まで待つ