PythonのBeautifulsoupにおいてのAttributeErrorの解決方法

Question

前提・実現したいこと

PythonのBeautifulsoupモジュールを使ってTwitterのAuth Tokenを取得したいのですが上手くいきません。

発生している問題・エラーメッセージ

AttributeError: 'NoneType' object has no attribute 'get'

該当のソースコード

auth_token = soup.find(attrs={'name': 'authenticity_token'}).get('value')

試したこと

調べましたがよく分かりませんでした…

補足情報（FW/ツールのバージョンなど）

Ubuntu 20.04
Python3
Beautifulsoup4

Answer 1

auth_token = soup.find('input', {'name':'authenticity_token'})['value']

か

auth_token = soup.find('input', {'name': 'authenticity_token'}).get('value')

で試してみてください。

Comments

[magui]

ご指摘頂いた2つ目のコードの場合、同様のエラーが発生しました。
1つ目のコードに書き換えると
Traceback (most recent call last):
File "tweet2.py", line 94, in <module>
TwiTweet.tweet()
File "tweet2.py", line 49, in tweet
auth_token = soup.find('input', {'name':'authenticity_token'})['value']
TypeError: 'NoneType' object is not subscriptable
というエラーが出ました。
型のエラーの様ですが、何か解決方法はありますでしょうか？

[Mashiro]

よくよくテストしてみたところ、 soup.find('input', {'name':'authenticity_token'})する段階でNone担っていて、authenticity_tokenがnameになっているinputが見つかってないです。

どうも、requestでTwitterのページをgetした段階でTwitter側で蹴られてるみたいですね。
おそらくsoupする前って以下のようなコードだと思うんですが、

s = requests.Session()
r = s.get('https://twitter.com/?lang=ja')

これのrをprint(r.text.encode('utf-8'))して、
結果をhtmlファイルに保存して開いてみるとわかります。

また、Twitterの規約を覗いてみると以下の事が書かれています。
"access or search or attempt to access or search the Services by any means (automated or otherwise) other than through our currently available, published interfaces "

おそらく上記の規約に変更した際にsoupで抽出できなくなったのではないかと思います。

[magui]

なるほど。5月下旬にauthenticity_token値のみを取得するプログラムを作成した際はちゃんと動作しており、今回ツイートまでできるよう作り変えたところ動かなくなった為不思議に思っておりました。
再度検証してみると、以前上手くいっていたプログラムでも同様のエラーを吐いたので仕様変更で間違い無さそうです。（かなり直近で行われた…？）また別の方法を検討したいと思います。

丁寧に回答して頂きありがとうございました！