pythonで検索をしてその結果を得たい。

Question

前提・実現したいこと

pythonでMUSIC(https://music.line.me/search/)の検索結果を得たいです。
MUSICで検索したタイトルとdata-trackidを取得したいです。

こちらのようなサイトをいくつかみてやってみたのですが分かりません。
http://toricor.hatenablog.com/entry/2016/01/16/160406
https://qiita.com/__init__/items/d53a281ef757b22f4732

該当のソースコード

import requests
import bs4
url = "https://music.line.me/search/"
search = "HoneyWorks"
r = requests.get(url + search)
print(r.text)
bs4Obj = bs4.BeautifulSoup(r.text, 'html.parser')
linkElems = bs4Obj.select('.section')
for x in linkElems:
    print(x)

試したこと

MUSICのサイトをF12キーで覗きながらやってみました。

Answer 1

ちょっと見てみました。
多分https://music.line.me/api/search/titleを直接叩けばいい感じだと思います。
getでパラメータにキーワードを指定し、ヘッダーに{'X-Requested-With': 'XMLHttpRequest'}を設定すればレスポンスでjsonが取れます。
unicode-escapeされてるのでデコードしましょう。
jsonはjson.loadsでパースすれば辞書型とリスト型のオブジェクトになるので、ループなりなんなりで好きなようにデータを取ればいいと思います。

サンプル

import json
import requests

url = 'https://music.line.me/api/search/title'
payload = {'keyword': 'HoneyWorks'}
headers = {'X-Requested-With': 'XMLHttpRequest'}

res = requests.get(url, params=payload, headers=headers)
decoded_res = res.content.decode('unicode-escape')

json_res = json.loads(decoded_res)

よくわからなければ一旦jsonを出力して眺めてください。(絵文字などはそのままjsonに含められないけどエスケープしてしまったら本末転倒なので、デコードのエラー処理で?に置き換えをしています)

replaced_res = decoded_res.encode('utf-8', errors='replace').decode('utf-8')
with open('output.json', 'w', encoding='utf-8') as f:
	json.dump(json.loads(replaced_res), f, indent=2, ensure_ascii=False)

Comments

[v_...]

できました！ありがとうございます！
/titleを直接たたく、、ヘッダーに{'X-Requested-With': 'XMLHttpRequest'}を設定、、
凄く参考になりました！