質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

5086閲覧

python, beautifulsoupで取得したデータから不要なhtmlタグを削除したい

john_doe

総合スコア8

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2018/03/30 11:51

編集2018/03/30 12:22

前提・実現したいこと

python3系でbeatifulsoupを使い、特定ページの不要なhtml要素を削除したうえで、特定クラスの内容だけを取得したく考えています。具体的には下記記載の"subtitle"クラスの値の"XXXXXX*"のみを取得したいです。

発生している問題・エラーメッセージ

指定したクラスの中身の取得までは実現できたのですが以下のように不要なタグが入り込んでしまっています。

<div class="subtitle">XXXXXX<a class="YYY" href="ZZZZ"><i class="111111"></i></a></div>, <div class="subtitle">XXXXXX2<a class="YYY" href="ZZZZ"><i class="111111"></i></a></div>, <div class="subtitle">XXXXXX3<a class="YYY" href="ZZZZ"><i class="111111"></i></a></div>(以下省略)

該当のソースコード

python

1import urllib.request, urllib.error 2from bs4 import BeautifulSoup 3url = "https://XXXXXXXXX" 4html = urllib.request.urlopen(url) 5soup = BeautifulSoup(html, "html.parser") 6subtitle = soup.find_all("div", class_="subtitle") 7print (subtitle)

試したこと

webの記事等を参考に以下に書き換えてみたのですがnoneの結果が返り、途方にくれています。

import urllib.request, urllib.error from bs4 import BeautifulSoup url = "https://XXXXXXXXX" html = urllib.request.urlopen(url) soup = BeautifulSoup(html, "html.parser") title = soup.find_all("div", class_="subtitle") #以下で不要タグ削除を試みる for i in title: a = (i.string) print (a)

上記以上にどのようなをすれば良いか分からずすいませんが、どなたかご教示いただけましたら幸いです。

補足情報(FW/ツールのバージョンなど)

python3系のanaconda環境下で, jupyter notebookを使用しています。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Lhankor_Mhy

2018/03/30 12:40

.contents で取り出すのは不可、ということですよね?
guest

回答1

0

ベストアンサー

a = (i.string)a = i.textでよいと思います。

投稿2018/03/30 12:44

can110

総合スコア38233

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

john_doe

2018/03/31 03:16

早速の回答ありがとうございます。やりたいことが実現できました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問