Pythonでのmysql操作について(前回の質問の続き)

Question

前回の質問の続きで申し訳ないのですが、pythonでmySQLにデータを入れようと思い、以下のコードを書いたのですが、実行されませんでした。

comma = ','
db_final = [[11,12],[21,22],[31,32],[41,42],[51,52]]
connect = mysql.connector.connect(
    user='root',
    password='',
    host='xxxx')
cursor = connect.cursor()
for j in range(1,３):
	sql = 'insert into database.0912 (hc,pc) values '

	
	for i in range(5*(j-1),5*(j-1) + 1):
		sql2 = '(db_final[' + str(i) + '][0],db_final[' + str(i) + '][1])'
		sql = sql + sql2


	for i in range(5*(j-1) + 1,5*j):
		sql2 = '(db_final[' + str(i) + '][0],db_final[' + str(i) + '][1])'
		sql = sql + comma + sql2
	print sql
	cursor.execute(sql)
	connect.commit()
	# cursor.close()
	# connect.close()



cursor.close()
connect.close()

以下エラーコード

insert into database.0912 (hc,pc) values (db_final[0][0],db_final[0][1]),(db_final[1][0],db_final[1][1]),(db_final[2][0],db_final[2][1]),(db_final[3][0],db_final[3][1]),(db_final[4][0],db_final[4][1])
Traceback (most recent call last):
  File "test111.py", line 75, in <module>
    cursor.execute(sql)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/mysql/connector/cursor.py", line 507, in execute
    self._handle_result(self._connection.cmd_query(stmt))
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/mysql/connector/connection.py", line 722, in cmd_query
    result = self._handle_result(self._send_cmd(ServerCmd.QUERY, query))
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/mysql/connector/connection.py", line 640, in _handle_result
    raise errors.get_exception(packet)
mysql.connector.errors.ProgrammingError: 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '[0][0],db_final[0][1]),(db_final[1][0],db_final[1][1]),(db_final[2][0],db_final[' at line 1
[Finished in 0.1s with exit code 1]

前回質問させていただいた際の回答を参考にさせてもらい作成したプログラムは実行されたのですが、挿入するデータを文字列（？）から変数に変更したところこのようになってしまいました。
どなたか原因がわかる方よろしくお願いします。

前回のコード

connect = mysql.connector.connect(
    user='root',
    password='',
    host='xxxx')
cursor = connect.cursor()
for j in range(1,３):
	sql = 'insert into database.0912 (hc,pc) values '

	
	for i in range(5*(j-1),5*(j-1) + 1):
		sql2 = '(123,123)'
		sql = sql + sql2


	for i in range(5*(j-1) + 1,5*j):
		sql2 = '(234,234)'
		sql = sql + comma + sql2
	print sql
	cursor.execute(sql)
	connect.commit()
	# cursor.close()
	# connect.close()



cursor.close()
connect.close()

Answer 1

以下のSQL文を実行しようとして、エラーとなっています。
insert into database.0912 (hc,pc) values (db_final[0][0],db_final[0][1])
正しいSQL文は、"(db_final[0][0], db_final[0][1])"ではなく、(11, 12)などではないでしょうか。まずは、どのようなSQL文を発行したいのか考えましょう。
また、forループの回数が適切でないので、インデックスの値がオーバーします。
(途中でlist index out of rangeが出て失敗する。)

全てのdb_finalを挿入したいなら、以下のコードになります。

# -*- coding: utf-8 -*-
import mysql.connector
conn = mysql.connector.connect(
    user='root',
    password='',
    host='xxxx',
    db='database')  # db名まで指定した方が良い
cursor = conn.cursor()
# table名は"0912"
insert_stmt = 'INSERT INTO `0912` (hc, pc) VALUES (%s, %s)'

db_final = [(11, 12), (21, 22), (31, 32), (41, 42), (51, 52)]

# cursor.execute("DROP TABLE `0912`")
# cursor.execute("CREATE TABLE `0912`('hc' INTEGER, 'pc' INTEGER)")

cursor.executemany(insert_stmt, db_final)
cursor.close()
conn.commit()
conn.close()

Comments

[u_k_statistics]

EloiseSeverinさん
回答ありがとうございます。
おかげさまで上のコードは実行できたのですが、今度はそれをより大きなリストで行おうと思い実行したところ、エラーが出てしまいました。
内容は以下の通りで、調べたところ接続エラーのようなのですが、なにかこれを避ける方法はないでしょうか？
よろしくお願いします。
Traceback (most recent call last):
File "test.py", line 529, in <module>
cursor.executemany(insert_stmt, db_final)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/mysql/connector/cursor.py", line 608, in executemany
return self.execute(stmt)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/mysql/connector/cursor.py", line 507, in execute
self._handle_result(self._connection.cmd_query(stmt))
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/mysql/connector/connection.py", line 722, in cmd_query
result = self._handle_result(self._send_cmd(ServerCmd.QUERY, query))
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/mysql/connector/connection.py", line 504, in _send_cmd
packet_number)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/mysql/connector/network.py", line 133, in send_plain
errno=2055, values=(self.get_address(), _strioerror(err)))
mysql.connector.errors.OperationalError: 2055: Lost connection to MySQL server at 'xxxxxxxxxx', system error: 32 Broken pipe
[Finished in 633.7s with exit code 1]
またこの前に出たエラーは記録してないのですが、
41 Protocol wrong type for socket
のようなものが出ました。
よろしくお願いします。

[u_k_statistics]

ちなみにプログラムの全体は
外付けHDDからtxtデータを取得
そのデータをデータベースに挿入したい形に変えてリストに入れる
そのリストをデータベースに入れる
という内容です。

[u_k_statistics]

1000行単位で挿入するようにしたところ解決しました。
ありがとうございました!!

[EloiseSeverin]

executemany()は、リスト全体を一度に処理するためリストが大きすぎると処理できません。
リスト1行毎に処理する正解例を示すならば、
# cursor.executemany(insert_stmt, db_final) ＃ この行をコメントアウトして
for data in db_final:
cursor.execute(insert_stmt, data)
です。