###実現したいこと
pythonを使って食べログサイト内において、検索フォームに”調布市”と入れ、検索結果ページを取得したい。
###発生している問題
以下のようにプログラムを組んだのですが、検索結果のページではなく、検索フォームのページから移動せずに検索フォームのページからprint()してしまった。
lang
1# coding:utf-8 2from robobrowser import RoboBrowser 3 4browser = RoboBrowser(parser='html.parser') 5 6browser.open('https://tabelog.com/') 7 8 9form = browser.get_form(attrs={'name': 'FrmSrchFreeWord'}) 10form['sa'] = '調布市' 11browser.submit_form(form, headers={ 12 'Referer': browser.url, 13 'Accept-Language': 'ja,en-US;q=0.7;q=0.3' 14}) 15 16 17for a in browser.select('li > a'): 18 print(a.text) 19 print(a.get('href'))
python クローリングスクレイピングの本の、googleでフォームをおくるプログラムをいじりました。本そのままのプログラムでは正常に稼働していました。
###補足
robobrowserにこだわってはいません。seleniumも視野に入れています。”サイト内のフォームに文字を入れて送り、結果のページからスクレイピングする”というプログラムを作りたいです。お知恵をお貸しいただければ幸いです。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。