【Python】requestsによるWebページ情報の取得ができない。

前提・実現したいこと

趣味でPythonを勉強中です。
Webページの情報をrequestsで取得したいのですが、初期段階にもかかわらずうまくいくページといかないページがあるため解決方法を探しています。

発生している問題・エラーメッセージ

エラーではありませんが、TsutayaのWebページ(https://tsutaya.tsite.jp/)の情報をrequestで取得しようとすると以下のようになります。

<HTML><head/><BODY Onload="document.Response.submit()">
<FORM NAME="Response" METHOD="POST" ACTION="https://tsutaya.tsite.jp&#x2f;landing.jsp&#x3f;goto2=https&#x3a;&#x2f;&#x2f;tsutaya.tsite.jp&#x2f;">
<INPUT TYPE="HIDDEN" NAME="LARES" 
VALUE="PGxpYjpBdXRoblJlc3BvbnNlIHhtbG5zOmxpYj0iaHR0cDovL3Byb2plY3RsaWJlcnR5L
m9yZy9zY2hlbWFzL2NvcmUvMjAwMi8xMiIgeG1sbnM6c2FtbD0idXJuOm9hc2lzOm5hbWVzOnRjO
lNBTUw6MS4wOmFzc2VydGlvbiIgeG1sbnM6c2FtbHA9InVybjpvYXNpczpuYW1lczp0YzpTQU1MO
jEuMDpwcm90b2NvbCIgeG1sbnM6ZHM9Imh0dHA6Ly93d3cudzMub3JnLzIwMDAvMDkveG1sZHNpZ
yMiIHhtbG5zOnhzaT0iaHR0cDovL3d3dy53My5vcmcvMjAwMS9YTUxTY2hlbWEtaW5zdGFuY2UiI
FJlc3BvbnNlSUQ9InNiZGU2MjdkMzQwNTA5YT.....>

[]

というVALUE="...の謎文字列がが永遠に続き、目的であるWeb上の情報取得ができません。

該当のソースコード

python
1res = requests.get('https://tsutaya.tsite.jp/')
2print(res.text)
3soup = bs4.BeautifulSoup(res.text, 'lxml')
4soup.select('title')

試したこと

・ある種の文字化けかもしれないと思いencodingも試しましたが同じでした。
・同じコードで他のサイト(例：https://www.kinokuniya.co.jp/)で試してみると、うまくtitleまで取得できました。

補足情報（FW/ツールのバージョンなど）

・Python3.6.5
・PyCharm
・Type=Hiddenとなっているのでそれについて調べましたが、Web上に表示されていない情報を送信する属性していとのことなので、もともと表示されている情報すら取得できないのはなぜ？？となっています。

行動規範の内容に同意します

回答1件

ベストアンサー

https://tsutaya.tsite.jp/ の HTML ソースを見たところ、JavaScript を使った対策等が行われているようです。そのため、JavaScript を無効にした場合、読めないように細工されているのだと思われます。

取得した HTML や JavaScript を解析して、JavaScript の実行後の HTML を取得するような方法が必要になりますが、requests では、JavaScript の実行に対応していないので、難しいでしょう。

Selenium 等のヘッドレスブラウザを使う必要があると思います。

投稿2018/08/03 05:27

編集2018/08/03 05:33

CHERRY

総合スコア25171

あなたの回答

tips

プレビュー

行動規範の内容に同意します

質問の解決につながる回答をしましょう。サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。また、読む側のことを考えた、分かりやすい文章を心がけましょう。

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう！