URLが遷移しないサイトでのスクレイピング python

Question

すいません。URL が遷移しないサイトでのpythonでの
スクレイピングについてどうしてもわからなくて質問いたしました。
java scriptでURLを遷移しないようにつくっているようです。

以下のサイトから東京都の大田区の病院名を抜き出したいと考えていたのですが
URLが遷移せず、ソースがどこにあるのかわからないため、どう抜き出していいのかわからず困っております。

＜このサイト＞
リンク内容
http://www.jda.or.jp/cgi-bin/search2.cgi

＜以下pythonで実行してみましたが、検索の部分が出てくるだけで失敗＞

import requests
from bs4 import BeautifulSoup
   
url = 'http://www.jda.or.jp/cgi-bin/search2.cgi'

headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0"}

response = requests.get(url=url, headers=headers)
html = response.content

soup = BeautifulSoup(html, "html.parser")
sp = soup.find_all('h3')

print(sp)

```

以下参考に挑戦したのですが、できませんでした。
https://teratail.com/questions/164050

誰かわかる方、アドバイスいただけると助かります。

Answer 1

1. そのページで東京都 大田区を選択した状態で、
2. Webブラウザの開発者コンソールを開き、
3. method="post" となっているところを method="get" に改造して　(2ヶ所あります)
4. 検索ボタンを押すと
5. アドレスバーが以下のようになります:

http://www.jda.or.jp/cgi-bin/search2.cgi?md=3&cmbSearch1=%93%8C%8B%9E%93s&cmbSearch2=%91%E5%93c%8B%E6

おまけ
6. http://0xcc.net/jsescape で、Encoding for the followingsで Shift_JIS を設定した状態で
7. URL欄に上記アドレスを入力してみると
8. Plain Text 欄に http://www.jda.or.jp/cgi-bin/search2.cgi?md=3&cmbSearch1=東京都&cmbSearch2=大田区 が出てきます。

Comments

[tetsujiyamamura]

ありがとうございます！　本当によくわからなくて困っていました！

Answer 2

JavaScriptで作成された情報を取得したい場合は、JavaScriptを実行可能なツールを使います。

多いのは、「何らかのブラウザ＋Selenium＋Selenium用ライブラリのあるプログラミング言語」でしょうか。
Teratailでの質問だと、Chrome+Selenium+Pythonが多い気がします。

Comments

[tetsujiyamamura]

アドバイスありがとうございます！　
普段、あまりスクレイピングしないのでとても参考になります！