Q&A
色々調べたところ、javascript等使っているサイトだとmechanize等だけではスクレイピング出来ないサイトも多々あるようですね。参考になりました。ありがとうございます。素直にSeleniumを使うようにします。
こちらのyahooのログイン画面からMechanizeで自動ログインをしようと思いましたが、手動でのログインを完全再現できず、恐らくボッドだと判断され、画像認識のページに飛ばされてしまいます。
手動でログインをした場合、IDとPASSを入力し画像認識を求められず、素直にログインできるのですが、Mechanizeだと違うページに飛ばされてしまいます。
ググったところ、最初のログインページから→ID,PASS入力→ログインボタンまでが早すぎてボットだと認識されてしまい、画像認識のページに飛ばされるとあったので、sleepで10秒ほど間を開けましたが変わらず。。
次にcookieをみているのかな？と思った為、一度手動で最初のページに飛んで、cookieを全削除して、手動ログインしてみたら、画像認識のページには飛ばされませんでした（cookieを消してもボットだと認識されず、画像認識のページには飛ばされなかった）。
その為、cookieをみている訳ではないと考えられました。
Mechanizeで自動ログインを作る場合、他に時間、cookie意外にどのような部分を見てボットだと認識していると考えられるのでしょうか？
また原因がわかるのであれば、教えてくれれば幸いです。
以下ソースです。
agent = Mechanize.new agent.user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.2 Safari/605.1.15" page = agent.get "https://login.yahoo.co.jp/config/login?" form = page.forms.first form["login"] = "ログインID" button = form.buttons[0] sleep 4 new_page = agent.submit(form,button) #ここで手動なら飛ばないはずの画像認識のページに飛ばされてしまう
(sleepは最初10秒でテストしましたが、ほぼそこが原因ではないなと思った為、4秒に設定してあります。)
よろしくお願いします。
回答2件
0
そりゃBOTなんだからしようがないでしょうね。
残念ながら、法律や規約に違反する事柄はお答え致しません
投稿2020/08/29 12:43
総合スコア88042
0
ベストアンサー
ブラウザでJavaScriptをオフにした状態でログインしようとしてみましたけど、できませんね。
Mechanizeでは無理ではないでしょうか。Seleniumを使いましょう。
投稿2020/08/29 12:45
総合スコア85901
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/08/29 13:25 編集
2020/08/29 13:27
2020/08/30 01:16