pythonでログイン状態を保持したままスクレイピング

Question

python初心者です。
スクレイピングについて質問お願いします。

pandasのread_htmlを利用してnetkeibaのテーブルをスクレイピングし、forで何回かループさせたいのですが、読み込んだテーブルがログオフ状態のテーブルをスクレイピングすることはできましたが、ログイン状態のテーブルをスクレイピングすることができません。

よろしくお願いします。

以下、追記です。

pip install requests
pip install BeautifulSoup4

import requests
from bs4 import BeautifulSoup

url = "https://regist.netkeiba.com/account/?pid=login"
session = requests.session()
response = session.get(url)
bs = BeautifulSoup(response.text, 'html.parser')

cookie = response.cookies

info = {
    "login_id": "メールアドレス",
    "pswd": "ログインパスワード",
}

res = session.post(url, data=info, cookies=cookie)

という、コードを書いて、そのログイン状態を保持したまま、スクレイピングできずに困っています。これは、pandasのread_htmlで書いた方が楽なのですが、やり方がわからず、ネット検索して、上記のようにbeautifulsoupで書いたものをまねして、書いてみましたがうまくいかず頓挫しています。

Comments

[meg_]

どんなコードですか？

[meg_]

> ログオフ状態のテーブルをスクレイピングすることはできましたが、ログイン状態のテーブルをスクレイピングすることができません。
「できない」とはどういうことでしょうか？ ログインはできているのでしょうか？

[onezero]

ログインすることができていません。わかりずらくて、すみません。

[meg_]

下記サイトなどを参考に色々試してみてください。
https://qiita.com/fake_engineer_00/items/82c3f63ccb6416fd5fca

[onezero]

教えていただきありがとうございます。試してみます。

[Penpen7]

隠しデータを指定しないといけないのでは？
https://thunss.com/2019/12/24/python-scraping-post-data/

[Hyugopython]

token