Seleniumでmysqlにinsertできない問題

Question

実装環境

OS:Windows 10 Pro
開発環境:XAMPP
開発言語:Python 3.9.5,selenium

発生している問題・エラー

表題の通りSeleniumを使用し、Pythonにて取得したデータをMySQLのテーブルにインサートできません。

# codingutf-8
from multiprocessing import Pool
from multiprocessing import Process
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from time import sleep
from datetime import datetime as dt
from datetime import date
import datetime
import MySQLdb

driver = webdriver.Chrome("C:\Program Files\chromedriver\chromedriver.exe");

driver.get('https://www.scorebing.com/fixtures/202XXXXX');
sleep(2)

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

match_number=1
sample_number=1
now_date=date(202X, XX, XX).strftime('%Y/%m/%d')

date_result=[]

while sample_number < 2:
	try:
		if match_number%30==0 :
			driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
		URL_team = '//*[@id="diary_info"]/table/tbody/tr['+str(match_number)+']/td[1]'
		URL_time = '//*[@id="diary_info"]/table/tbody/tr['+str(match_number)+']/td[2]'
		URL_fulltime_score = '//*[@id="diary_info"]/table/tbody/tr['+str(match_number)+']/td[4]'
		URL_halftime_score = '//*[@id="diary_info"]/table/tbody/tr['+str(match_number)+']/td[6]'
		a = driver.find_element_by_xpath(URL_team)
		b = driver.find_element_by_xpath(URL_time)
		c = driver.find_element_by_xpath(URL_fulltime_score)
		c_list= c.text.split()
		d = driver.find_element_by_xpath(URL_halftime_score)
		b = "20"+b.text
		b_date=b.split()
		tdatetime = dt.strptime(b, '%Y/%m/%d %H:%M')
		result_date = dt.strptime(b_date[0], '%Y/%m/%d').strftime('%Y/%m/%d')
		if now_date<result_date:
			break
		d_list= d.text.split()
		plus_minutes_time=tdatetime + datetime.timedelta(minutes=30)
		if a.text != "" and c.text != "" and d.text != "":
			print(a.text+","+tdatetime.strftime('%Y/%m/%d %H:%M')+","+plus_minutes_time.strftime('%Y/%m/%d %H:%M')+","+c_list[0]+","+c_list[2]+","+d_list[0]+","+d_list[2])
			date_result.insert(match_number-1,(a.text,tdatetime.strftime('%Y-%m-%d %H:%M:%S'),plus_minutes_time.strftime('%Y-%m-%d %H:%M:%S'),int(c_list[0]),int(c_list[2]),int(d_list[0]),int(d_list[2])))
			
	except:
		print("予期せぬエラー")
		break
	match_number += 1


# 接続する
conn = MySQLdb.connect(
user='root',
passwd='',
host='localhost',
db='soccer_result')


# カーソルを取得する
cur = conn.cursor()

# SQL（データベースを操作するコマンド）を実行する
# userテーブルから、HostとUser列を取り出す
print(date_result)
sql = "INSERT INTO soccer_result (league_name,kickoff_time,half_time,team_1_Fscore,team_2_Fscore,team_1_Hscore,team_2_Hscore) VALUES (%s,%s,%s,%s,%s,%s,%s)"
cur.executemany(sql,date_result)
for i in date_result:
	cur.execute(sql,i)
conn.commit
conn.close
cur.close

print("END")

自分で試したこと

printによる配列に代入する値ならびに、インサート前の配列の中身(date_result)に関してはインサートする際のINSERT INTO soccer_result (league_name,kickoff_time,half_time,team_1_Fscore,team_2_Fscore,team_1_Hscore,team_2_Hscore) VALUES (%s,%s,%s,%s,%s,%s,%s)の形になっていますが、エラーも特に出力されることなくインサートされていない現象が起き困惑しています。

試しにテーブルのcreateに関しては問題なく行えたため問題はINSERT文にあると考えています。

なにかほかに必要な情報ありましたら教えてください。

Answer 1

他の回答をいんたん考えずに問題文だけ見ると、単純にINSERTまでやって確定のためのcommit以降のメソッド呼び出しをしていないように見えます。

conn.commit
conn.close
cur.close

↓

conn.commit()
conn.close()
cur.close()

Comments

[kuroishi]

どうやらカッコを忘れていました。ありがとうございました。

Answer 2

おはようございます。

問題文読ませていただきました。

もしかすると、データの形式に問題があるのかと思っております。

こちらあたりを読んでみると、list型ではなくタプル型でinsertしているので、ここが原因だと感じております。
・10.5.5 MySQLCursor.executemany() Method
・Python で MySQL - データの挿入 (insert)

試しに、

date_result = ('yakohama fc', '2021-05-24', '2021-05-25', 2, 2, 1, 1)

に変更して格納されるかご確認いただけますか？(mysqlの設定によって、データ形式の間違いはあるかもしれません。)

<追記>
自分の方で動いたので、以下の手順にてinsertできるか試してください。

1. ターミナルを開く。
2. mysql内に入る。(mysql -uroot -p'xxx')
3. create database sample;を実行する。(sample databaseの作成)
4. show databases;を実行して、databaseが作成されているのか、確認する。(sample databaseが作成されているのか確認する。)
5. use sample;を実行してsampleのdatabase内に入る。
6. create table sample.fruits (id int, name varchar(20), value varchar(40));を実行する。(fruits tableの作成)
7. quitしてmysqlから抜ける。
8. pythonファイルを新しく作成して、以下のコードを貼り付け&変更する。

import MySQLdb

# DBに接続しカーソルを取得する
# passwdの変更やその他自身の環境に合わせて、適宜変更ください。????‍♂️
connect = MySQLdb.connect(host='localhost', port=3306, user='root',
                          passwd='xxx', db='sample', charset='utf8')
cursor = connect.cursor()

# レコードの挿入
sql = "insert into fruits values(1, 'apple', '100yen')"
# 1つ目のレコードを挿入
cursor.execute(sql)
sql = "insert into fruits values(2, 'orange', '150yen')"
# 2つ目のレコードを挿入
cursor.execute(sql)
# コミットする
connect.commit()

cursor.close()
connect.close()

最後にPythonファイルを実行する。

Comments

[kuroishi]

ご返信ありがとうございます。
ひとまず、while文をコメントアウトし、date_resultを上記変数に変更したところ下記エラーが出ました。

Traceback (most recent call last):
File "C:\Users\kuroishi yuta\Desktop\test.py", line 73, in <module>
cur.executemany(sql,date_result)
File "C:\Users\kuroishi yuta\AppData\Local\Programs\Python\Python39\lib\site-packages\MySQLdb\cursors.py", line 230, in executemany
return self._do_execute_many(
File "C:\Users\kuroishi yuta\AppData\Local\Programs\Python\Python39\lib\site-packages\MySQLdb\cursors.py", line 255, in _do_execute_many
v = values % escape(next(args), conn)
TypeError: not enough arguments for format string

[kuroishi]

insertでやっみましたが、追加されませんでした。

[退会済みユーザー]

恐らくですが、僕が指定したデータとkuroishiさんが作られたdatabaseのcolumnのデータ形式の整合性が取れていない、もしくは必要カラム数を満たしていないために失敗したものと思われます。(こちらの判断は情報不足のため完全理解は難しかったので、適宜調整して実行いただけると助かります。????‍♂️)
↑
上で自力解決が難しそうと感じましたら、私自身で回答の方で追記し、insertできたサンプルコードやmysqlの使い方について簡単に説明しましたので、ご確認いただけますと幸いです。????‍♂️

[kuroishi]

懇切丁寧にありがとうございました！あらためて自分の中で仕組みを理解することができました。この度はご協力いただきありがとうございました。また、ぜひ相談させてください。

[退会済みユーザー]

いえいえ。問題解決してよかった！!

また困ったこととかありましたら、気軽にご相談ください。