質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

HTML5

HTML5 (Hyper Text Markup Language、バージョン 5)は、マークアップ言語であるHTMLの第5版です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

2回答

1394閲覧

Pythonでテキストフィールドの値をスクレイピングする方法について

umai29

総合スコア19

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

HTML5

HTML5 (Hyper Text Markup Language、バージョン 5)は、マークアップ言語であるHTMLの第5版です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/09/20 22:47

あるサイトのテキストフィールドの値をPythonでスクレイピングしようとしています。

下記のHTMLコードは、それぞれ英字、数字、記号のチェックボックスがあり、任意のものにチェックをつけた状態で[文字列を生成]ボタンを押すと、3つのテキストフィールドに(チェックボックスをつけた種類の中で)文字列が出力されるというものです。

HTML

1<form id="myform" onsubmit="send();return false"> 2 <div class="desc"> 3 <ul> 4 <li> 5 <label> 6 <input class="check" type="checkbox" name="pw_pattern[]" style="position: relative; top: 2px;" value="english_txt" checked=""> 7 <span class="label">英字</span> 8 <br> 9 <span class="example">abc...</span> 10 </label> 11 </li> 12 <li> 13 <label> 14 <input class="check" type="checkbox" name="pw_pattern[]" style="position: relative; top: 2px;" value="num_txt" checked=""> 15 <span class="label">数字</span> 16 <br> 17 <span class="example">123...</span> 18 </label> 19 </li> 20 <li> 21 <label> 22 <input class="check" type="checkbox" name="pw_pattern[]" style="position: relative; top: 2px;" value="mark_txt"> 23 <span class="label">記号</span> 24 <br> 25 <span class="example">/*-+.,!#$%&amp;()~|_@</span> 26 </label> 27 </li> 28 </ul> 29 </div> 30 <br> 31 <span class="label">文字列を生成</span> 32 <br> 33 <div> 34 <input class="text" name="submit_str" type="submit" value="文字列を生成"><br> 35 </div> 36 37 <!-- テキストフィールド部分 --> 38 <div id="textfield" style="display: block;"> 39 <h3>テキストフィールド</h3> 40 <input id="txt1" type="text" name="hoge" onclick="this.focus();this.select()" value> 41 <input id="txt2" type="text" name="hoge" onclick="this.focus();this.select()" value> 42 <input id="txt3" type="text" name="hoge" onclick="this.focus();this.select()" value> 43 </div> 44</form>

このテキストフィールド部分の文字列をPythonにてスクレイピングをしたいと考えているのですが、見ての通り、値がコード上にないため、どのように取得すれば良いのかがわかりません。

テキストフィールドにonclick="this.focus();this.select()"とあるので、直接ここから取得ではなく、何か1つ処理を挟む必要があるということでしょうか?

Pythonで一応以下のようなコードは組んだのですが、HTMLの件が解決しないことには、先に進めないと感じ、中途半端な状態で止まっております。

Python

1import requests 2from bs4 import BeautifulSoup 3 4url = 'https://hoge.co.jp' # ダミーURL 5 6res = requests.get(url) 7res.raise_for_status() 8 9soup = BeautifulSoup(res.text, 'html.parser') 10 11elems = soup.select('#textfield') 12print(elems)

Pythonにおいて、上記HTMLの問題を解決するためには、どのような処理の追加が必要なのかをご教示いただきたいです。

何卒よろしくお願い致します。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

<h3>テキストフィールド</h3>の「テキストフィールド」を取得したいということでしょうか? それとも「ID:txt1」「ID:txt2」「ID:txt3」に入力している値を取得したいということでしょうか?

投稿2020/09/21 07:43

Kaiser

総合スコア295

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

単純なrequests.getでは求める情報が得られない場合、ブラウザを自動操作して求める情報を表示させて取得することが必要です。seleniumというモジュールを使います。

参考: https://teratail.com/questions/96078

まずはこのあたりを調べて試してみてから、不明なところがあれば、新規に質問を起こすとよいでしょう。

なお、厳密には、求めるHTMLを得るまでをクローリング、得たHTMLをパースすることをスクレイピング、と呼びます。

投稿2020/09/20 23:06

toast-uz

総合スコア3266

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問