実現したいこと
pythonのライブラリpyodbcで、Azure SQLDatabaseへ100万行のデータを挿入したいです。
insert時にはexcutemanyを使用しており、fast_executemanyがFalseだと遅いのでTrueにして使用したいと思っております。
内容
pythonライブラリpyodbc を使用して、Azure SQLDatabaseへのデータ挿入を実施しているのですがエラーとなってしまい処理が止まってしまいます。どうにかこのエラーを回避したいと考えております。
fast_executemany=Trueでexcutemanyを使用して、100万行を挿入しようとすると15秒位経ってから以下のエラーが表示されます。
odbcドライバは、「Microsoft ODBC Driver 17 for SQL Server」を使用しています。
DB側の設定
ファイアウォール:IP指定されていることを確認
接続ポリシー:リダイレクト
価格レベル:Basic
エラー内容
例外が発生しました: OperationalError ('08S01', '[08S01] [Microsoft][ODBC Driver 17 for SQL Server]通信リンクが失敗しました。 (-2147467259) (SQLEndTran(SQL_ROLLBACK))') ('08S01', '[08S01] [Microsoft][ODBC Driver 17 for SQL Server]TCP Provider: 既存の接続はリモート ホストに強制的に切断されました。 (10054) (SQLExecute); [08S01] [Microsoft][ODBC Driver 17 for SQL Server]Communication link failure (10054)')
ソースコード
python: 3.10.10
pyodbc: 4.0.35
import pandas as pd import numpy as np import pyodbc import datetime # AzureSQLDatabase connect_info = "Driver={ODBC Driver 17 for SQL Server};Server=tcp:[hostname],1433;Database=[dbname];Uid=[username];Pwd=[password];Encrypt=yes;TrustServerCertificate=no;Connection Timeout=30;" with open([csvファイル], 'r', encoding='utf-8') as file_object: # dataframe→リスト化 file_object.seek(0) df = pd.read_csv(file_object, header=0, dtype={i:"str" for i in range(1,20)}) # 19列のデータのため df = df.replace({np.nan: None}) data_list = df.values.tolist() # excutemany SQL作成 tablename = "testtable" sql = f"insert into {tablename} values (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)" # 19列のデータのため with pyodbc.connect(connect_info) as con: with con.cursor() as cur: cur.fast_executemany = True size = 1000000 for i in range(0, len(data_list), size): print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')) cur.executemany(sql, data_list[i:i+size]) con.commit() print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
試したこと
・接続先のDBをローカルのSQLServerに変更して、同様にexcutemanyを実施
→insertは問題なく成功する(100万行を4回ループで10分くらい)
・接続文字列に「Command Timeout=0」「Timeout=0」などを追記
→変化なし
・ループする行数を決めるsizeを10000行に減らす
→成功する
・ODBCドライバを「ODBC Driver 18 for SQL Server」に変えてみる
→変化なし
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。