pythonでsessionを使ってスクレイピングする際に、日本語の文字をpostする方法について

Question

前提・実現したいこと

Chromeで検索条件を入力してボタンを押すことで、条件に合致したデータが抽出されるページについて、
Pythonのsession(requests)を使ってスクレイピングしようとしています。
Chromeの処理をデベロッパーツールで確認したところ、必要な検索条件をform dataにまとめてPOSTしているようでした。

ただ、ページ上では「売上日」か「お振込日」をラジオボタンで選択する項目について、
デベロッパーツール上のform dataの値が
「ymdKbn: (unable to decode value)」
となっており、どのように送信しているのか分かりませんでした。

文字列をエンコードすればよいのかと考えて、いくつか試したのですが上手くいきませんでした。
どのように値を設定すればよいのかご教示いただけないでしょうか。

発生している問題・エラーメッセージ

POSTするform dataの日本語の値を上手く送信できないため、必要なデータが返ってこない。

該当のソースコード

HTMLのinputタグ(id="ymdKbn")のvalueが、下記form dataの'ymbKbn'の値に該当すると考えています

<div class="box_form_tit">
    <input id="ymdKbn" name="ymdKbn" type="hidden" value="売上日"/>
    <label class="radio"><input type="radio" name="radio" checked>売上日</label>
    <label class="radio"><input type="radio" name="radio" >お振込日</label>
</div>

form_data = {'ymdKbn': '売上日',
             'radio': 'on',
             'yearFrom': 2019,
             'monthFrom': 11,
             'dayFrom': 1,
             'yearTo': 2019,
             'monthTo': 11,
             'dayTo': 1}

r = my_session.port(url, data = form_data)

試したこと

下記の表記を試みましたが、適切な方法ではないようで、検索結果が返ってきませんでした。

'ymdKbn': '売上日',
'ymdKbn': ascii('売上日')
'ymdKbn': '売上日'.encode('unicode-escape')

Answer 1

URLエンコードすればいけそうな気がします

'ymdKbn': urllib.parse.quote('売上日')

参考：https://note.nkmk.me/python-urllib-parse-quote-unquote/

Comments

[frederick_1974]

ありがとうございます。
いただいたコードで試してみたのですが、検索結果が返ってきませんでした。

別途、Firefoxのデベロッパーツール表示された値、
ymdKbn:%94%84%8F%E3%93%FA
も試してみたのですが、やはり検索結果が返ってきませんでした。

となると、検索結果が返ってこないのは別のところに要因があるように思えるので、そちらをさがしてみたいと思います。
お手数をお掛けしてしまい、申し訳ありませんでした。