BeautifulSoupで同じ属性を探す方法

Question

前提・実現したいこと

Pandasで読み込んだテーブルにマニュアルで列を増やしたのですが、その新しい列にBeautifulSoupを使ってid="list-title"で取得したデータをいれ、class="list2"と数だけいれたい。

例
テーブル１
Class | ID
bg3 ABC(11111)
bg3 ABC(11111)
bg3 ABC(11111)
bg3 ABC(11111)

テーブル2
bg3 DEF(22222)
bg3 DEF(22222)
bg3 DEF(22222)
bg3 DEF(22222)

発生している問題・エラーメッセージ

return self.attrs[key]
KeyError: 0

該当のソースコード

<span id="list-title">
ABC(11111)
<br>
</span

<table class="list2">
<tbody>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
</tbody>
</table>

<span id="list-title">
DEF(22222)
<br>
</span>

<table class="list2">
<tbody>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
</tbody>
</table>

<span id="list-title">
XYZ(33333)
<br>
</span>

<table class="list2">
<tbody>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
  <tr class = "bg3" </tr>
</tbody>
</table>

試したこと

import pandas as pd
from bs4 import BeautifulSoup
import numpy as np


filename = r'\server\user\someone\Desktop\test.html'
path = open(filename, 'r')
destination = r"\server\user\someone\Desktop\test_result.xlsx"

soup = BeautifulSoup(open(filename), 'html.parser')

df = pd.io.html.read_html(filename, encoding='Shift JIS', attrs={'class':'list2'})
num_tables = len(df)
df = pd.concat(df)

#remove all rows containing 合計
df = df[df.isin({'合計'}).sum(1) == 0]

#奇数行
df_tmp1 = df.iloc[::2].reset_index(drop=True)
df_tmp1.columns = df.columns.get_level_values(0)

# 偶数行
df_tmp2 = df.iloc[1::2].reset_index(drop=True)
df_tmp2.columns = df.columns.get_level_values(1)

new = df_tmp1['No状況']

#splitting
df_tmp1['No'] = new[:0]
#splitting
df_tmp1['状況'] = new[:0]


#id=list-titleの属性を探してテーブルの数だけループする
for i in range(num_tables):
    df = soup.find('span', id='list-title')[i].get_text()
    broker = df
    df = pd.concat([df_tmp1, df_tmp2], axis=1)
    df.insert(5, '指定販売会社コード', broker)
    df.insert(6, '販社名', broker)

#列を書き換え
df = df[["No","ファンドコード", "設定口数","設定金額","設定概算金額", "状況","ファンド名", "解約口数", "解約金額","解約概算金額","販社名","指定販売会社コード"]]

df.to_string(index=False)
df['No'] = np.arange(1, len(df)+1)
df['状況'] = '当日有り'

writer = pd.ExcelWriter(destination, engine='xlsxwriter')

df.to_excel(writer, index=False, sheet_name='Test', startrow=1)

workbook = writer.book
worksheet = writer.sheets['Test']

number_format = workbook.add_format({'num_format': '#,##0', 'bold': False})
font_format = workbook.add_format({'font_name': 'ＭＳ Ｐゴシック', 'font_size': 10})

worksheet.set_column('A:A', 1, number_format)
worksheet.set_column('B:E', 16, number_format)
worksheet.set_column('G:G', 30, number_format)
worksheet.set_column('H:J', 13, number_format)
worksheet.set_column('K:K', 24, number_format)
worksheet.set_column('L:L', 21, number_format)
worksheet.set_column('A:L', None, font_format)
writer.save()

補足情報（FW/ツールのバージョンなど）

df = soup.findAll('span', id='list-title').[i]get_text()でもダメでした。

Comments

[hayataka2049]

コードは全部掲載して、できれば要所要所ではコメント入れていただけるととても回答しやすいと思います。今載っている分だけだと、範囲外で定義されている変数があったりして何をしているのかよくわからないのです。

[SnowBallEffect]

返信ありがとうございます。コードを全て掲載いたしました。コメントもできるだけ書きました。もし、まだ足りないとこがあれば教えてくださいね。

[SnowBallEffect]

いかがでしょうか？

[hayataka2049]

試してみましたが、
df = pd.io.html.read_html(filename, encoding='Shift JIS', attrs={'class':'list2'})
で失敗するようです。HTMLの構文に問題があるのではないでしょうか。

[SnowBallEffect]

返信ありがとうございます。実際のHTMLは機密情報なので少し変えていますが、レイアウトはほとんど同じです。pandasで取得したテーブルは全部で3つあり、それぞれヘッダーが違います。そのヘッダーがlist-titleであり、新しい行を2つつくりました。それがdf.insert(5, '指定販売会社コード', broker)
df.insert(6, '販社名', broker) です。その行にbg3と同じ数だけのlist-titleをテーブルはごとに入力したいです。

すいません、分かりにくくて....

[hayataka2049]

内容を変えるのは構いませんが、質問に載せたHTMLでも同じ問題が発生するようにしてください。それ以前のところでエラーになると検証のしようがありません。

Answer 1

解決方法がわかりました！

df = pd.io.html.read_html(filename, encoding='Shift JIS', attrs={'class': 'list2'})
brokers = soup.find('div', id='mainContents').find_all(id='list-title')

ここでzipを使い、テーブルごとにbrokerの名前を入れます
for t, b in zip(df, brokers):
t['指定販売会社コード'] = b.get_text().split('(')[1].strip().replace(')', '')

ここも同じですが、消す部分を示すだけ。
for t, b in zip(df, brokers):
t['販社名'] = b.get_text().split('(')[0].strip()