beautifulsoupでtableのスクレイピングがしたい

Question

タイトルの通りスクレイピングを試みているのですが、なかなかうまくいきません。
もともとうまくいっていたところに、リンクのURLもリストに追加したいと考え後付けで加えたところ、リストの先頭が上書きされてしまうようになってしまいました。

import requests
from bs4 import BeautifulSoup

#table→list
def to_list(table):
    trs = table.find_all("tr")

    tr_max = len(trs)

    data = [[] for _ in range(tr_max)]

    for i, tr in enumerate(trs):

        for td in tr.find_all("td"):
            a = td.find("a")
            if a is None:                
                cell = td.get_text(strip=True)
                rowspan = td.get('rowspan')
                colspan = td.get('colspan')
                row = int(rowspan) if rowspan else 1
                col = int(colspan) if colspan else 1
                
                for j in range(row):
                    for x in range(col):
                        data[i + j].append(cell)
            else:
                rowspan = td.get('rowspan')
                colspan = td.get('colspan')
                url = a.get("href")
                row = int(rowspan) if rowspan else 1
                col = int(colspan) if colspan else 1
                
                for j in range(row):
                    for x in range(col):
                        data[i + j].append(url)
    return data




url = 'https://www.wakayama-med.ac.jp/hospital/gairai/schedule/index.html'
page = requests.get(url)

soup = BeautifulSoup(page.content, "html.parser")
table = soup.find("table", {"class":"bordered"}).tbody

code = "A1312970051"

data = to_list(table)
for i in data:
    print(i)

まだ途中の段階ですが、どうすればうまくいくのでしょうか。

else:
                rowspan = td.get('rowspan')
                colspan = td.get('colspan')
                url = a.get("href")
                row = int(rowspan) if rowspan else 1
                col = int(colspan) if colspan else 1
                
                for j in range(row):
                    for x in range(col):
                        data[i + j].append(url)

ここを追加してからおかしいのでこの部分が間違っているだろうと思いますが、どのようにすればURLで上書きするのではなく、URLを追加することができますか。
ちなみにURLがない行は""を追加したいですが、それもわかりません。
よろしくお願いいたします。

Comments

[meg_]

> リストの先頭が上書きされてしまうようになってしまいました。
上記の意味が分かりませんでした。
現在、dataの中身はどうなっていて、想定の結果はどうなっていたのでしょうか？
リストの先頭数個で良いので追記されると回答が付きやすくなるかと思います。

Answer 1

現状、どのような入力の結果、どのようにまずいのかがよく分かりませんが
まずテーブルを二次元リストに格納する処理においてrowspan,colspanにちゃんと対応できていないようです。
この処理はHow to parse table with rowspan and colspanを参考に書き換えます。
さらに

URLで上書きするのではなく、URLを追加

というのもよくわからないのですが
td要素から値を取得する処理を別関数に分離して見通しをよくします。

from bs4 import BeautifulSoup
from itertools import product

# How to parse table with rowspan and colspan
# https://stackoverflow.com/questions/48393253/how-to-parse-table-with-rowspan-and-colspan
def table_to_2d(table_tag, value_func):
    rowspans = []  # track pending rowspans
    rows = table_tag.find_all('tr')

    # first scan, see how many columns we need
    colcount = 0
    for r, row in enumerate(rows):
        cells = row.find_all(['td', 'th'], recursive=False)
        # count columns (including spanned).
        # add active rowspans from preceding rows
        # we *ignore* the colspan value on the last cell, to prevent
        # creating 'phantom' columns with no actual cells, only extended
        # colspans. This is achieved by hardcoding the last cell width as 1. 
        # a colspan of 0 means “fill until the end” but can really only apply
        # to the last cell; ignore it elsewhere. 
        colcount = max(
            colcount,
            sum(int(c.get('colspan', 1)) or 1 for c in cells[:-1]) + len(cells[-1:]) + len(rowspans))
        # update rowspan bookkeeping; 0 is a span to the bottom. 
        rowspans += [int(c.get('rowspan', 1)) or len(rows) - r for c in cells]
        rowspans = [s - 1 for s in rowspans if s > 1]

    # it doesn't matter if there are still rowspan numbers 'active'; no extra
    # rows to show in the table means the larger than 1 rowspan numbers in the
    # last table row are ignored.

    # build an empty matrix for all possible cells
    table = [[None] * colcount for row in rows]

    # fill matrix from row data
    rowspans = {}  # track pending rowspans, column number mapping to count
    for row, row_elem in enumerate(rows):
        span_offset = 0  # how many columns are skipped due to row and colspans 
        for col, cell in enumerate(row_elem.find_all(['td', 'th'], recursive=False)):
            # adjust for preceding row and colspans
            col += span_offset
            while rowspans.get(col, 0):
                span_offset += 1
                col += 1

            # fill table data
            rowspan = rowspans[col] = int(cell.get('rowspan', 1)) or len(rows) - row
            colspan = int(cell.get('colspan', 1)) or colcount - col
            # next column is offset by the colspan
            span_offset += colspan - 1

            # 値を取得
            value = value_func(cell)

            for drow, dcol in product(range(rowspan), range(colspan)):
                try:
                    table[row + drow][col + dcol] = value
                    rowspans[col + dcol] = rowspan
                except IndexError:
                    # rowspan or colspan outside the confines of the table
                    pass

        # update rowspan bookkeeping
        rowspans = {c: s - 1 for c, s in rowspans.items() if s > 1}

    return table

# セルから値を取得
def get_value( cell):
    value = cell.get_text()
    a = cell.find('a')
    if a:
        value += a.get('href') # とりあえず
    return value


# テストデータ
# https://www.tablesgenerator.com/html_tables

# +-------------+-------+------+
# | R1C12       | R12C3 | R1C4 |
# +------+------+       +------+
# | R2C1 | R2C2 |       | R2C4 |
# +------+------+-------+------+
t1 = """
<table>
<tbody>
<tr>
<td colspan="2">R1C12</td>
<td rowspan="2">R12C3</td>
<td>R1C4</td>
</tr>
<tr>
<td>R2C1</td>
<td>R2C2</td>
<td>R2C4</td>
</tr>
</tbody>
</table>
"""

# +-------+-------+
# | R12C1 | R1C2  |
# |       +-------+
# |       | R23C2 |
# +-------+       |
# | R3C1  |       |
# +-------+-------+
t2 = """
<table>
<tbody>
  <tr>
    <td rowspan="2">R12C1</td>
    <td>R1C2</td>
  </tr>
  <tr>
    <td rowspan="2">R23C2</td>
  </tr>
  <tr>
    <td>R3C1</td>
  </tr>
</tbody>
</table>
"""

base = """
<!DOCTYPE HTML>
<html lang="ja">
<head>
<meta charset="utf-8">
<title>test</title>
<style>
  table { border-collapse: collapse; }
  tr { height: 2em; }
  td { border: solid 1px black; }
</style>
</head>
<body>
{{table}}
</body>
</html>"""

for t in (t1,t2):
    html = base.replace('{{table}}', t)
    #print(html)
    soup = BeautifulSoup(html, "html.parser")
    table = soup.find('table').tbody
    data = table_to_2d(table, get_value)
    print('-----')
    for i in data:
        print(i)

"""
-----
['R1C12', 'R1C12', 'R12C3', 'R1C4']
['R2C1', 'R2C2', 'R12C3', 'R2C4']
-----
['R12C1', 'R1C2']
['R12C1', 'R23C2']
['R3C1', 'R23C2']
"""