pythonによるスクレイピングでHTMLを取得したい

Question

pythonでrequestsを使って、WebページからHTMLを取得しようとしています。
具体的には読書メーターのページの作家名を検索した時のHTMLを取得したいのですが、
https://bookmeter.com/search?keyword=夏目漱石のようなURLでpythonのrequestsを使ってアクセスすると、WebページのHTMLではなく、検索した作家の本の情報が格納されたJSONデータが返ってきてしまいます。

普通にブラウザからアクセスすると、Webページが表示される（HTMLで返ってくる）のに、プログラムからアクセスするとJSONが返ってくるのはどういった仕組みになっているのでしょうか。
それとプログラムからアクセスした場合にもHTMLを取得するにはどうすれば良いのでしょうか。

ご教授いただけますと幸いです。よろしくお願いいたします。

（追記）
コードはこんな感じです。

import requests

url = 'https://bookmeter.com/search'
params = {
    'keyword': '夏目漱石'
}
r = requests.get(url, params=params)
print(r.headers['content-type'])
print(r.text)

printしたContent-Typeを見てみるとapplication/jsonとなっているのですが、
どのように実行したらhtmlで返ってきましたでしょうか。

（追記）
コンソールで次のコードを打っても、同じくjsonが返ってきました。

curl -X GET https://bookmeter.com/search?keyword=%E5%A4%8F%E7%9B%AE%E6%BC%B1%E7%9F%B3

Comments

[moscow3]

こちらでやってみたところ普通にHTMLが返ってきました。　実行したコードを載せてもらはないことには何が原因かは分かりません。　（とはいえ、実際に処理するならjsonのほうが使いやすいのではと思ったりも・・）

Answer 1

私が試したところでは、curl -X POST...とするとhtmlが返ってくるようですね。当該サイトでは、リクエストの種類によって違うものを返すように設定されているということではないでしょうか。

Comments

[kazuki__]

なるほど、確かにPOSTするとhtmlが返ってきますね。
ブラウザからのアクセスってGETリクエストかと思っていたんですが、POSTリクエストにも出来るんですね。そこのところ実装の仕方いまいちよくわかりませんが、調べてみます！
回答ありがとうございます！

Answer 2

APIのエンドポイントがそのままURLなのでしょうか？（申し訳ないですが正確なことは分からないので他の方からの回答を期待してください）

とりあえず、　beauriful soupとurllibを用いた動くサンプルです。
（pip installが必要です）

from bs4 import BeautifulSoup
import urllib.request
url = 'https://bookmeter.com/search?keyword=%E5%A4%8F%E7%9B%AE%E6%BC%B1%E7%9F%B3'
req = urllib.request.Request(url)
response = urllib.request.urlopen(req)
html = response.read()
soup = BeautifulSoup(html, "lxml")
print(soup)

また、、出力の時点でパースされているので、

  elms = soup.find_all(class_='class_name')
  for elm in elms:
    print(elms.txt)

みたいに特定のクラスの要素だけ取得して出力とかもできます。

Comments

[kazuki__]

回答ありがとうございます！
サンプルを動かしてみたところ、期待通りの動作でした。
今回叩いてるURLは普通のWebページのURLでAPIのエンドポイントではないと思います。

でもどうしてurllibで叩くと、HTMLが返ってくるのに、
requestsで叩くと、JSONが返ってくるのでしょうか。
そこの違いがよくわかりません。