質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

正規表現

正規表現とは特定の文字列によるパターンマッチングを行う際に用いられる宣言型プログラミングです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

データマイニング

データマイニングは、購買履歴やクレジットカードの利用履歴、電話の通話履歴など企業にある大量のデータを解析して、その中に隠れたパターンやルールを探し出す技術です。DMと略されることもあります。

Q&A

解決済

1回答

5808閲覧

decomposeを使ってaタグを取り除く。スクレイピング

jury_new

総合スコア31

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

正規表現

正規表現とは特定の文字列によるパターンマッチングを行う際に用いられる宣言型プログラミングです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

データマイニング

データマイニングは、購買履歴やクレジットカードの利用履歴、電話の通話履歴など企業にある大量のデータを解析して、その中に隠れたパターンやルールを探し出す技術です。DMと略されることもあります。

0グッド

0クリップ

投稿2020/05/23 02:51

aタグを削除したいです

aタグを削除するためにfind().decompose
を使ったのですが以下のエラーが出ました。
恥ずかしながら今までこのエラーの意味を考えず、とりあえずfind_all文にforを付け加えるような形でやり過ごしてきました。
例)for ex in base.find_all()
上記のようにforを付け加えてエラーをなんとなく考えていたのですが、
今回、エラーの理由をご教示頂きしっかりと理解しようと考えております。

発生している問題・エラーメッセージ

Traceback (most recent call last): File "wiki_new.py", line 57, in <module> term_long() File "wiki_new.py", line 51, in term_long for ten in seven.find_all('a').decompose(): File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/bs4/element.py", line 2080, in __getattr__ raise AttributeError( AttributeError: ResultSet object has no attribute 'decompose'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

該当のソースコード

import requests import re import matplotlib.pyplot as plt import numpy as np from matplotlib.offsetbox import AnchoredText from bs4 import BeautifulSoup from requests.exceptions import Timeout url = 'https://ja.wikipedia.org/wiki/%E5%86%85%E9%96%A3%E7%B7%8F%E7%90%86%E5%A4%A7%E8%87%A3#%E5%86%85%E9%96%A3%E7%B7%8F%E7%90%86%E5%A4%A7%E8%87%A3%E3%81%AE%E4%B8%80%E8%A6%A7_2' try: r = requests.get(url,timeout=3.5) except Timeout: print('this is timeout error') pass html_soup = BeautifulSoup(r.text,'html.parser') all = html_soup.find('table',class_='sortable wikitable') def person_name(): for per in all: for two in all.find_all('tr'): for three in two.find_all('td'): un = three.get_text(strip=True) for more in three.find_all('b'): ni = more.get_text(strip=True) ori = print(ni) return ori def elsepe (): for per in all: for two in all.find_all('tr'): for three in two.find_all('td'): un = three.get_text(strip=True) for more in three.select('a'): new_type = more.get_text(strip=True) one = re.sub('[0-9年平成昭和令和明治大正]','',new_type) show = print(one) return show person_name() elsepe() def term_long(): for per in all: for six in all.find_all('tr'): for seven in six.find_all('td'): #こちらの行を修正中です。(下記のコード) for ten in seven.findall('a').decompose: time = ten.get_text(strip=True) nine = re.findall('[0-9]+',time) eigtht = print(nine) return ni term_long()

試したこと

  1. decomposeを使ってタグを削除しようとしました
  2. re.findallを使って<a>から始まる行のみを除去しようとしました。
  3. re.subを使って<a>から始まる行のみを置き換えて除去しようとしました。
  4. 正しい方法かわからないのですが、find_allに正規表現を組み合わせて削除しようとしました。

上記の4つの試みのなかで一番再現性が高い?ような気がしたので1のエラーについて質問させて頂いております。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

エラー内容について

findallで返ってくる値は引数のタグにマッチした要素の**結果セット(ResultSet)**です。
ResultSetはTagの集合です。Tagはdecomposeメソッドを持っていますがResultSetは持っていません。
ということがエラーメッセージの最後の行に書いてあります。

AttributeError: ResultSet object has no attribute 'decompose'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?
(意訳:ResultSetはdecomposeなんて属性もってないけんのう、もしかしてリストを単一要素とまちがえてんちゃうの?それならfind_allじゃなくてfind使わないけんの?)

修正内容

findallでaタグのリストが取得できるので、for文で1つずつdecomposeしてやります。

python

1for ten in seven.findall('a') 2 ten.decompose()

これでsevenからaタグ要素が全て消えました。

投稿2020/05/25 12:06

hope_mucci

総合スコア4447

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

jury_new

2020/05/26 05:59

hope_mucciさん、ご回答ありがとうございます! 意訳、とても分かり易かったです。decomposeメソッドを持っているかと言うところがポイントだったんですね。この度はありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問