質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

解決済

1回答

3639閲覧

PythonでのwebスクレイピングでHTML中の要素を見つけられません.

tetsu1

総合スコア16

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

0グッド

0クリップ

投稿2019/05/26 15:07

編集2019/05/26 15:15

イメージ説明

前提・実現したいこと

Pythonでwebスクレイピングをしており,ページに含まれるデータ(文字列や値)をとってきたいと思っています.

発生している問題・エラーメッセージ

目的のページまでseleniumを用いて到達出来ましたが,その後HTMLの要素を指定し,findをしても要素が見つかりません.
式自体のエラーは出ていませんが,データのlenが0になってしまいます.

該当のソースコード

添付の画像がHTMLのソースコードです.

試したこと

入手したいデータのタブはtdであったため,該当のページを開いた状態でまずは以下の式を実行しました.
<プログラム>
page_source = driver.page_source
soup = bs4.BeautifulSoup(page_source, 'html.parser')
a=soup.find_all("head")
print(len(a))
<結果>
0
driver.find_element_by_tag_nameや,xpathなどいろいろ試しましたが,そちらも要素が見つかりません.そこで,print(soup)でsoupを書きだしたでみると以下のようになりました.
<結果>

<html xmlns="http://     "><head><title> </title><meta content="IE=edge" http-equiv="X-UA-Compatible"/></head> <frameset border="0" frameborder="0" framespacing="0" rows="33,*"> <frame frameborder="no" name="TOPFRAME" noresize="" scrolling="no" src="munuTop.aspx?URL=cabc525a-9a7a-4f83-804c-6cf55e76fc77"/> <frame name="MAINFRAME" src="https:// /?id=7006&amp;Token=cabc525a-9a7a-4f83-804c-6cf55e76fc77"/> </frameset> </html> 他の同じようなHTMLの構成のページからのデータの抜き取りは成功しており,その際のsoupはもっと長かったので,soup自体が読み込めていないのかと思いましたが.. 結果,欲しいデータは2つ目のframeの中の方にありますが,find出来たタグはframeまでで,それ以下の,head,div等はfind出来ませんでした.framesetのlenは1,frameのlenは2という結果となり,そこまでは正しくfind出来ていました. プログラミング初心者で,質問も初めてで作法も分からないため,おかしな点がありましたら申し訳ございません.記述が足りない部分などございましたらご指摘ください. 他のアプローチも含め,アドバイスよろしくお願い致します.

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

tetsu1

2019/05/27 05:08

ご指摘ありがとうございます.ログインが必要なページで,情報公開がどこまで出来るか考えてみます.ありがとうございます.
guest

回答1

0

ベストアンサー

frameはsrcに記載してあるリンクから情報を取得してhtmlとして表示しているので、1度srcのリンクに飛んでその中のhtmlを解析する必要があるかと思います。

コードは長くなりそうなので載せませんが、これをもとに再トライしていただければと思います。

投稿2019/05/27 04:52

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

tetsu1

2019/05/27 05:11

なるほど.回答ありがとうございます.このページがログインが必要なページで,srcのリンクに飛ぼうとすると,権限がないような警告が出ました.恐らく,権限がないことが原因だということが分かりました.ありがとうございました.
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問