beatifulsoupを利用したjs形式の連想配列を取得するには

Question

こんにちはpython諸学者です。
言葉足らずな場面もあると思いますがご容赦ください。

価格.comをWEBスクレイピングしたのですが、商品名を取得しようとした際に以下のコードを打ち込みました。

import requests
from bs4 import BeautifulSoup
import re
import csv


LINK = "https://kakaku.com/item/K0001299352/pricehistory/"
CSV_NAME = LINK.split('/')[-2] + '.csv'
res = requests.get(LINK)
soup = BeautifulSoup(res.content, "html.parser")
                     
    
s = soup('script')

すると以下のような結果が得られました。

<script type="text/javascript"> <!-- k3c.atrack = { ping: function(){}, val: { vc: 61, prdkey: 'K0001299352', prdname: 'PG UNLEASHED 1/60 RX-78-2 ガンダム', prdlprc: 39800, prdaprc: 39800, mkrkey: '105', mkrname: 'BANDAI', ctgkey: '6596', subctgkeys: 'V083', ctgname: 'プラモデル', shpbid: null, shpkey: null, shpname: null, shprev: null, shpvot: null, shpshp: null, shppnt: null, split: null, lxprdkey: null, cmpkey: null, brckey: null, mdlprdkey: null } }; //--> </script>

ここから、prdname:、prdkey:を取得したいのです。
様々なサイトを参考にしたのですが、jsの連想配列を取得する方法がわからず、途方に暮れております。
どうか皆様のお力をお借しください。

Answer 1

import requests
from bs4 import BeautifulSoup
import re
import csv
import json


LINK = "https://kakaku.com/item/K0001299352/pricehistory/"
CSV_NAME = LINK.split('/')[-2] + '.csv'
res = requests.get(LINK)
soup = BeautifulSoup(res.content, "html.parser")


s = soup('script')


j = re.sub('(\w+):',r'"\1":',re.search(r'(?<=val:\s)\{.*?}',s[1].get_text(),re.S).group(0))
j= j.replace('\'',r'"')

d=json.loads(j)

"""
d['prdname']

PG UNLEASHED 1/60 RX-78-2 ガンダム
"""

ぱっと見JSONぽかったので、チャレンジしてみました。
正規表現は

1 re.search: valを先頭にした{}内を取得
2 re.sub: JSONのキーを"で括る

となっています。
PythonのJSONデコーダーは``` ``だとダメだったのでreplaceで置換しています。

取得する項目が２つなら、正規表現でそのままとるのが早いかもしれませんね。

Comments

[temmie0527]

get_textだとNoneが返ってきたため、該当部分をstringにしたら取得できました。ありがとうございました！

Answer 2

beatifulsoupだけではできないと思います。

str(s[1]) と文字列にしたうえで、正規表現で取り出せば、一応は可能です。

あとは、re --- 正規表現操作などを読んで取り出してください。

Comments

[temmie0527]

技術不足で私に開示できる情報が少ない中、とてもためになる情報をありがとうございます。リンク先拝見いたしました。正規表現はいまだにマスターできている感じがしないので、一から学習しなおそうと思います。