pythonスクレイピング時にiframe要素を一つしか抽出できないのですが、複数抽出したいです。

Question

前提・実現したいこと

python初心者です。
python3,beautifulsoup,seleniumで練習でwebスクレイピングをしています。

<iframe>内にあるInstagramの投稿のsrcの中身を抽出したいのですが、1ページ内に複数<iframe>タグがある場合、一つ目の<iframe>のsrcしか抽出できません。

1ページ内にある全ての<iframe>タグを抽出したいです。

発生している問題・エラーメッセージ

for文で回しているのですが、<iframe>のsrcを一つしか取れません

取得しているページは
https://www.buzzfeed.com/jp/stephenlaconte/kylie-jenner-birthday-vacation-1?origin=thum
です。

どうかよろしくお願いいたします。

エラーメッセージ

該当のソースコード

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
import chromedriver_binary
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import time

options = Options()
options.set_headless(True)

driver = webdriver.Chrome()
driver.get("https://www.buzzfeed.com/jp/stephenlaconte/kylie-jenner-birthday-vacation-1?origin=thum")
html = driver.page_source.encode('utf-8')

html01=driver.page_source
while 1:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(3)
    html02=driver.page_source
    if html01!=html02:
        html01=html02
        driver.implicitly_wait(4)
    else:
        break

soup2 = BeautifulSoup(html, "lxml")


contentList = []


for div in soup2.find_all("div",class_ = "buzz-article-wrapper js-buzz-article-wrapper"):
#     if div.find("div",class_ ="action-bar-wrapper js-action-bar-wrapper"):
#         div.find("div",class_ ="action-bar-wrapper js-action-bar-wrapper").decompose()
#     if div.find("ul",class_ ="action-bar action-bar--subbuzz js-action-bar--subbuzz list-unstyled"):
#         div.find("ul",class_ ="action-bar action-bar--subbuzz js-action-bar--subbuzz list-unstyled").decompose()
#     if div.find("div",class_ ="subbuzz-quiz"):
#         div.find("div",class_ ="subbuzz-quiz").decompose()
#     if div.find("div",class_ ="js-unsupported-fallback subbuzz"):
#         div.find("div",class_ ="js-unsupported-fallback subbuzz").decompose()
#     if div.find("div",class_ ="subbuzz-bfp"):
#         div.find("div",class_ ="subbuzz-bfp").decompose()
#     if div.find("div",class_ ="subbuzz-youtube"):
#         div.find("div",class_ ="subbuzz-youtube").decompose()
#     if div.find("div",class_ ="subbuzz-photoslider"):
#         div.find("div",class_ ="subbuzz-photoslider").decompose()
#     if div.find("div",class_ ="subbuzz-facebook"):
#         div.find("div",class_ ="subbuzz-facebook").decompose()
#     if div.find("div",class_ ="subbuzz-freeform"):
#         div.find("div",class_ ="subbuzz-freeform").decompose()
#     if div.find("div",class_ ="action-bar-wrapper action-bar-wrapper--bottom js-action-bar-wrapper"):
#         div.find("div",class_ ="action-bar-wrapper action-bar-wrapper--bottom js-action-bar-wrapper").decompose()
#
#
     for content in div.find_all(["p","h2","a","img","iframe"]):
#         if div.find("img", class_ = "subbuzz__media-image",alt ="Instagram"):
#             div.find("img",class_ = "subbuzz__media-image", alt ="Instagram").decompose()
#         if div.find("div", class_ = "subbuzz__media-cta xs-absolute xs-b0 xs-col-12 xs-p2 xs-text-center text-gray-lighter"):
#             div.find("div",class_ = "subbuzz__media-cta xs-absolute xs-b0 xs-col-12 xs-p2 xs-text-center text-gray-lighter").decompose()
#         if div.find("div", class_ = "ad-awareness-wrapper js-awareness-wrapper"):
#             div.find("div",class_ = "ad-awareness-wrapper js-awareness-wrapper").decompose()
#         if div.find("div", class_ = "clearfix js-ad-placement ad-inline"):
#             div.find("div",class_ = "clearfix js-ad-placement ad-inline").decompose()

        if content.name == "p":
            if div.find("div",class_ ="text-white"):
                div.find("div",class_ ="text-white").decompose()
            texts = content.text
            print(texts)
            contentList.append(texts.replace("\u3000","").strip())
        if content.name == "h2":
            texth2 = content.text
            print(texth2)
            contentList.append(texth2.replace("\u3000","").strip())
        if content.name == "a":
            if div.find("ul",class_ ="action-bar action-bar--subbuzz js-action-bar--subbuzz list-unstyled"):
                div.find("ul",class_ ="action-bar action-bar--subbuzz js-action-bar--subbuzz list-unstyled").decompose()
            texth3 = content.text
            print(texth3)
            contentList.append(texth3.replace("\u3000","").strip())
        if content.name == "img":
            if div.find("img", alt ="Instagram"):
                div.find("img", alt="Instagram").decompose()
            if div.find("noscript"):
                div.find("noscript").decompose()
            if content.get("data-src"):
                print(content.get("data-src"))
                contentList.append(content.get("data-src").strip())
            else:
                print(content.get("src"))
                contentList.append(content.get("src").strip())
        if content.name == "iframe":
            content.get("src")
            print(content.get("src"))
            contentList.append(content.get("src"))
driver.close()
print("----------------------------")

試したこと

一番下までスクロールさせてページを読み込んでから要素を取ろうとしましたが変わりませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[meg_]

「html」の中に取得したいものは含まれていますか？

[t_obara]

selenium であれば、driver.find_elements_by_tag_nameでiframeを指定する感じ

Answer 1

for iframe in driver.find_elements_by_tag_name('iframe'):
    print(iframe.get_attribute('src'))