Python for文でリストを順番にデータフレームに追加したい

Question

前提・実現したいこと

Webページからテーブルの内容を取得し、行ごとにリストにした後、データフレームへ追加し、以下のようなデータフレームを作りたいと思っています。

しかし、今のコードですと、以下のようにリストの内容が同じ列にすべて含まれており、かつ、行と行の間に空白行が挿入されてしまいます。

コードをどのように修正すればやりたいことが実現できるか、ご教示いただけないでしょうか。

該当のソースコード

from selenium import webdriver
import pandas as pd

new = browser.find_element_by_id("newOpportunities").find_elements_by_tag_name("tr")

# ヘッダ行は除いて取得
df_new = pd.DataFrame()
for i in range(1,len(new)):
    tds = new[i].find_elements_by_tag_name("td")
    line = ""
    for j in range(0,len(tds)):
        if j < len(tds)-1:
            line += "%s\t" % (tds[j].text)                 
        else:
            line += "%s" % (tds[j].text) 

    print(line)#+"\r\n")
    df_elem = pd.Series(line, index=None)
    df_new = df_new.append(df_elem, ignore_index=True)

補足情報（FW/ツールのバージョンなど）

参考にしたコードはこちらです。

Comments

[etherbeg]

Pandasにはwebページの表をDataFrameとして取得するread_htmlという関数もあります。ご参考までに。
https://note.nkmk.me/python-pandas-web-html-table-scraping/

[SuzuAya]

>etherbeg様
情報共有ありがとうございます！試したところ、No Tables foundとエラーが出てしまいましたが、別のWebページから表を取得したい時に改めて試してみたいと思います！

Answer 1

こういうのはいかがでしょうか。
split()で文字列のリスト化をしました。

// newに値が取得された以降のみ

a = []
for i in new:
    a.append(i.text.split())

df_new = pd.DataFrame(data=a[1:], columns=a[0])

ヘッダ行が不要なら、columns=a[0]は削除して下さい。

Comments

[SuzuAya]

>Akihiro_tr様
ご回答ありがとうございます！！試してみたのですが、1つの要素の中に空白で区切られている
文字列（ABC coporationのように）も多々あり、それらが別の行とみなされてしまいました…。もう少し自分でも試行錯誤してみます！！

[Akihiro_py]

確かにそれは困りますね、、、
ではこんな感じに、tdタグで切ってみるのは如何でしょうか？

//うまくインデントができないので、__がインデントがわりです
// newに値が取得された以降のみ
a = []

for i in new[1:]:
__temp = []
__for j in i.find_elements_by_tag_name("td"):
____temp.append(j.text)
__a.append(temp)

df_new = pd.DataFrame(data=a)

自分の勉強がてらの回答なので、もし不備不明点あればどしどしお願いします。

[SuzuAya]

>Akihiro_tr様
再度ご回答いただき、ありがとうございます！ご提案いただいた通りtdタグで区切ってみたところうまくいきました！！大変助かりました。ありがとうございました。