pythonでrequestsを使って、WebページからHTMLを取得しようとしています。
具体的には読書メーターのページの作家名を検索した時のHTMLを取得したいのですが、
https://bookmeter.com/search?keyword=夏目漱石
のようなURLでpythonのrequestsを使ってアクセスすると、WebページのHTMLではなく、検索した作家の本の情報が格納されたJSONデータが返ってきてしまいます。
普通にブラウザからアクセスすると、Webページが表示される(HTMLで返ってくる)のに、プログラムからアクセスするとJSONが返ってくるのはどういった仕組みになっているのでしょうか。
それとプログラムからアクセスした場合にもHTMLを取得するにはどうすれば良いのでしょうか。
ご教授いただけますと幸いです。よろしくお願いいたします。
(追記)
コードはこんな感じです。
import requests url = 'https://bookmeter.com/search' params = { 'keyword': '夏目漱石' } r = requests.get(url, params=params) print(r.headers['content-type']) print(r.text)
print
したContent-Typeを見てみるとapplication/json
となっているのですが、
どのように実行したらhtmlで返ってきましたでしょうか。
(追記)
コンソールで次のコードを打っても、同じくjsonが返ってきました。
curl -X GET https://bookmeter.com/search?keyword=%E5%A4%8F%E7%9B%AE%E6%BC%B1%E7%9F%B3
回答2件
あなたの回答
tips
プレビュー