Pythonでテキストフィールドの値をスクレイピングする方法について

Question

あるサイトのテキストフィールドの値をPythonでスクレイピングしようとしています。

下記のHTMLコードは、それぞれ英字、数字、記号のチェックボックスがあり、任意のものにチェックをつけた状態で[文字列を生成]ボタンを押すと、3つのテキストフィールドに（チェックボックスをつけた種類の中で）文字列が出力されるというものです。

<form id="myform" onsubmit="send();return false">
  <div class="desc">
    <ul>
      <li>
        <label>
          <input class="check" type="checkbox" name="pw_pattern[]" style="position: relative; top: 2px;" value="english_txt" checked="">
          <span class="label">英字</span>
          <br>
          <span class="example">abc...</span>
        </label>
      </li>
      <li>
        <label>
          <input class="check" type="checkbox" name="pw_pattern[]" style="position: relative; top: 2px;" value="num_txt" checked="">
          <span class="label">数字</span>
          <br>
          <span class="example">123...</span>
        </label>
      </li>
      <li>
        <label>
          <input class="check" type="checkbox" name="pw_pattern[]" style="position: relative; top: 2px;" value="mark_txt">
          <span class="label">記号</span>
          <br>
          <span class="example">/*-+.,!#$%&amp;()~|_@</span>
        </label>
      </li>
    </ul>
  </div>
  <br>
  <span class="label">文字列を生成</span>
  <br>
  <div>
    <input class="text" name="submit_str" type="submit" value="文字列を生成"><br>
  </div>

  <!-- テキストフィールド部分 -->
  <div id="textfield" style="display: block;">
    <h3>テキストフィールド</h3>
    <input id="txt1" type="text" name="hoge" onclick="this.focus();this.select()" value>
    <input id="txt2" type="text" name="hoge" onclick="this.focus();this.select()" value>
    <input id="txt3" type="text" name="hoge" onclick="this.focus();this.select()" value>
  </div>
</form>

このテキストフィールド部分の文字列をPythonにてスクレイピングをしたいと考えているのですが、見ての通り、値がコード上にないため、どのように取得すれば良いのかがわかりません。

テキストフィールドにonclick="this.focus();this.select()"とあるので、直接ここから取得ではなく、何か1つ処理を挟む必要があるということでしょうか？

Pythonで一応以下のようなコードは組んだのですが、HTMLの件が解決しないことには、先に進めないと感じ、中途半端な状態で止まっております。

import requests
from bs4 import BeautifulSoup

url = 'https://hoge.co.jp'  # ダミーURL

res = requests.get(url)
res.raise_for_status()

soup = BeautifulSoup(res.text, 'html.parser')

elems = soup.select('#textfield')
print(elems)

Pythonにおいて、上記HTMLの問題を解決するためには、どのような処理の追加が必要なのかをご教示いただきたいです。

何卒よろしくお願い致します。

Answer 1

<h3>テキストフィールド</h3>の「テキストフィールド」を取得したいということでしょうか？ それとも「ID：txt1」「ID：txt2」「ID：txt3」に入力している値を取得したいということでしょうか？

Answer 2

単純なrequests.getでは求める情報が得られない場合、ブラウザを自動操作して求める情報を表示させて取得することが必要です。seleniumというモジュールを使います。

参考: https://teratail.com/questions/96078

まずはこのあたりを調べて試してみてから、不明なところがあれば、新規に質問を起こすとよいでしょう。

なお、厳密には、求めるHTMLを得るまでをクローリング、得たHTMLをパースすることをスクレイピング、と呼びます。