質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

ログイン

ログインは、ユーザーがコンピューターシステムにアクセスするプロセスの事を呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1197閲覧

pythonでログインしてスクレイピングしたいがレスポンス500エラーになってしまう

postppo

総合スコア13

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

ログイン

ログインは、ユーザーがコンピューターシステムにアクセスするプロセスの事を呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2020/02/26 17:33

以下の記事を参考にpythonでQiitaへログインしてログイン後のページタイトルをスクレイピングしようとしてみましたが、ログイン前のタイトルが取得されてしまいます。

https://qiita.com/morinokami/items/46b76b365f030be83418

seleniumは使わないでログインしたいです。
python-3.6

python

1from bs4 import BeautifulSoup 2import requests 3 4user="~" 5pas="~" 6 7payload = { 8 'utf8': '✓', 9 'identity': user, 10 'password': pas 11} 12 13# authenticity_tokenの取得 14s = requests.Session() 15r = s.get('https://qiita.com') 16soup = BeautifulSoup(r.text, 'html.parser') 17auth_token = soup.find(attrs={'name': 'authenticity_token'}).get('value') 18payload['authenticity_token'] = auth_token 19 20#アクセストークンは正常に取得できている 21print(auth_token) 22 23# ログイン 24res=s.post('https://qiita.com/login' ,data=payload) 25 26#レスポンス500が返ってくる 27print(res) 28 29ss=s.get("https://qiita.com/settings/notifications") 30soup = BeautifulSoup(ss.text, 'html.parser') 31title=soup.find("title") 32 33#ログイン後のタイトルなら「Qiitq」ログイン前は「Login - Qiita」が出力される 34print(title)
s.post('https://qiita.com/login' ,data=payload)

がレスポンス500になってしまいます。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

auth_tokenはloginページで取得したほうがいいんじゃないですかね?
あとこれくらいならBeautifulSoup使うまでもなく正規表現で済みますね。

python

1r = s.get("https://qiita.com/login") 2auth_token = re.search(r'authenticity_token.*?value="(.*?)"', r.text).group(1) 3payload['authenticity_token'] = auth_token 4res = s.post("https://qiita.com/login", data=payload)

で普通にログインできましたよ。

投稿2020/02/29 19:56

kairi003

総合スコア1330

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

postppo

2020/02/29 22:30

ありがとうございます!無事解決できました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問