【selenium×python】取得した要素を、上書きせずにリスト追加したい

Question

Selenium ChromeDriver&Pythonで下記の処理を行いたいのですが、要素取得→リスト追加の際に、うまく追加ができず要素が上書きされてしまい困っています。

▼実装したい動作

1. URL一覧ページを開く
2. URL一覧ページ内の特定のURLを取得して順番に開く
3. 2で開いたページから要素を取得し、リストに追加
4. 次のURLページを開いて要素を取得し、リストに追加
5. この繰り返し

最終的には、テーブル作成し、同じ項目に各ページから取得した要素をCSVとしてDLしたいです。

▼URL一覧ページ
https://www.executive-link.co.jp/industry/

▼記述内容

   jigyos = []
    elems_jigyo = driver.find_elements_by_css_selector('tbody tr:nth-child(1) td')

    for elem_jigyo in elems_jigyo:
        jigyo = elem_jigyo.text
        jigyos.append(jigyo)
        print(jigyos)

▼得たい実行結果

['経営コンサルティング全般', '経営コンサルティング全般', '経営コンサルティング全般', '経営コンサルティング']

▼現在の実行結果

['経営コンサルティング全般']
['経営コンサルティング全般']
['経営コンサルティング全般']
['経営コンサルティング']

各ページの要素が個別のリストとして追加されているため、CSVで落とした時に最後の1つしか取得できておりません。

どなたかお力添えいただけないでしょうか。

どうぞ宜しくお願い致します。

Answer 1

jigyos = []でリストを初期化するタイミングと、
print(jigyos)でリストをプリントするタイミングに問題はないでしょうか？

URLのループの処理が記述されていないので推測になりますが、
おそらくURLのループ内にjigyos = []が記述されているため、
別のURLに遷移するたびにリストが空になっているのかと思います。

もしそうであれば、jigyos = []をURLのループの外に置き、print(jigyos)を
要素取得のループの外に記述をすれば、解決すると思います！

Comments

[moratorium]

ご指摘通り修正したところ、正常に動作しました。ありがとうございます。
大変助かったので、今度ご飯でも行きませんか？
私は1/16-1/18であれば可能です。

その際には、私の知人でJTBで広告関連の業務をしている人間を紹介させてください。
よろしくお願いします。

Answer 2

やりたいことをうまく把握できてないかもしれませんが
提示ソースだとelems_jigyoの最後の要素しかjigyosにappendできていません。
各要素をappendするには

for elem_jigyo in elems_jigyo:
        jigyo = elem_jigyo.text
        jigyos.append(jigyo)

のようにjigyos.append(jigyo)のインデントを修正する必要があります。

Comments

[moratorium]

ご指摘ありがとうございます。

▼修正後の記述
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
jigyos = []
elems_jigyo = driver.find_elements_by_css_selector('tbody tr:nth-child(1) td')

for elem_jigyo in elems_jigyo:
jigyo = elem_jigyo.text
jigyos.append(jigyo)
print(jigyos)
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
上記のようにインデントを修正したのですが、やはり、別ページを開く→要素を取得して同じリストに追加　をすると、下記のようにリスト無いの要素が最新の要素だけになってしまっています。

もしご存知あれば教えていただきたいです。

▼現在の実行結果
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
['経営コンサルティング全般']
['経営コンサルティング全般']
['経営コンサルティング全般']
['経営コンサルティング']
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

▼得たい実行結果
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
['経営コンサルティング全般', '経営コンサルティング全般', '経営コンサルティング全般', '経営コンサルティング']
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

[can110]

コメント欄はインデントがなくなるので質問本文に追記ください。
やはりやりたいことが把握できなかったようです。
お役にたてずすみません。

[moratorium]

すいません、、質問本文に追記致しました。