スクレイピングで取得したデータがデータベースにうまく反映されない

Question

前提・実現したいこと

abemaの番組表から画像やタイトルを取得し，mysqlデータベースに保存するといった処理を行いたい。

発生している問題・エラーメッセージ

seleniumスクレイピングの実行後xamppのmysqlデータベースの中身を確認したところ格納されておりませんでした。

MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| channelapp         |
| information_schema |
| test               |
+--------------------+
3 rows in set (0.010 sec)

MariaDB [(none)]> use channelapp;
Database changed
MariaDB [channelapp]> show tables from channelapp;
Empty set (0.004 sec)

該当のソースコード

データベースへの格納に関するコードは次のように作成しました。

def data_registration_songle(self):
  connection=mysql.connector.content(
    user='ユーザー名',
    password='パスワード',
    host='localhost',
    database='channelapp',
    charset='utf8',
  )

  cursor=connection.cursor()
  cursor.excute("""CREATE TABLE timetable_list(
    id INT(5) AUTO_INCREMENT NOT NULL,
    title_name VARCHAR(100)
    time datetime,
    title_img MEDIUMBLOB,
  )""")
  cursor.commit()
  cursor.ecxute("USE timetable_list")
  connection.commit()

  for item in data:
    cursor.excute('insert into time values(%(title)s,%(time)s,%(img)s)',{
      'title':item['title_name'],
      'time':item['time'],
      'img':item['title_img'],
      })
    cursor.commit()
    cursor.close()

全体のコード

from typing import Container, Counter
import urllib.request
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from time import sleep
import mysql.connector

options = Options()
options.add_argument('--headless')


driver = webdriver.Chrome('C:/Users/ユーザー名/Downloads/chromedriver_win32/chromedriver',chrome_options=options)

driver.get('https://abema.tv/timetable')
sleep(10)
driver.find_element_by_xpath("//button[contains(text(),'19歳以下')]").click()
driver.find_element_by_xpath("//button[contains(text(),'男性')]").click()
driver.find_element_by_xpath("//button[contains(text(),'次へ')]").click()
sleep(10)
driver.find_element_by_class_name("com-genre-survey-GenreSurveyCard__text").click()
driver.find_element_by_xpath("//button[contains(text(),'完了')]").click()
sleep(10)
categories=driver.find_elements_by_xpath("//a[@class='com-timetable-ChannelIconHeader__channel-link com-a-Link com-a-Link--dim']")
link_list = []

channel_count = 0
for category in categories:
  link_list.append(category.get_attribute('href'))

data=[]
count=0
for link in link_list:
  count+=1
  driver.get(link)
  sleep(10)
  timetable=driver.find_elements_by_xpath("//div[@class='com-timetable-TimetableItem__wrapper']")
  cnt=0
  for item in timetable:
    cnt+=1
    #タイトル
    title=item.find_elements_by_xpath("div[1]/div/p/span/div/span")
    if len(title):
      title_name=str(count)+":"+str(cnt)+":"+title[0].text

    #時間
    times=item.find_elements_by_xpath("div[1]/div/p/span/div/time")
    if len(times):
      for time in times:
        datetime=time.get_attribute('datetime')
        time=str(count)+":"+str(cnt)+":"+datetime

    #画像
    imgs=item.find_elements_by_xpath("div[2]/div/div/div/picture/img")
    if len(imgs):
      for img in imgs:
        src=img.get_attribute('src')
        title_img=urllib.request.urlretrieve(src,str(count)+"_"+"img"+str(cnt)+".png")

    data.append({
      "title_name":title_name,
      "time":time,
      "title_img":title_img,
    })

    if cnt>3:
      break

  if count>3:
    break

def data_registration_songle(self):
  connection=mysql.connector.content(
    user='ユーザー名',
    password='パスワード',
    host='localhost',
    database='channelapp',
    charset='utf8',
  )

  cursor=connection.cursor()
  cursor.excute("""CREATE TABLE timetable_list(
    id INT(5) AUTO_INCREMENT NOT NULL,
    title_name VARCHAR(100)
    time datetime,
    title_img MEDIUMBLOB,
  )""")
  cursor.commit()
  cursor.ecxute("USE timetable_list")
  connection.commit()

  for item in data:
    cursor.excute('insert into time values(%(title)s,%(time)s,%(img)s)',{
      'title':item['title_name'],
      'time':item['time'],
      'img':item['title_img'],
      })
    cursor.commit()
    cursor.close()

補足情報（FW/ツールのバージョンなど）

Python 3.9.5
selenium 3.141.0
ChromeDriver 92.0.4515.107
xampp 8.0.9 / PHP 8.0.9

Comments

[gentaro]

デバッグを丸投げしたいって事だろうから低評価。
デバッグしてるならどの部分が意図どおりに動いていないのか、もっとピンポイントで質問絞れるはず。

[m.ts10806]

そもそもスクレイピングしていいかどうか微妙な気がしますね。
https://abema.tv/about/terms
＞第8条(禁止事項)
＞(4)コンテンツを不正な方法で取得する行為、またはこれを助長する行為。

「不正」が何かを決めるのは運営側ですが、一般的な利用以外は避けた方が良いでしょう。欲しい情報を提供しているAPIがなく、どうしてもというのなら許可を得ること。

[sarusnnn]

わかりました。ありがとうございます。