質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
SQL Server

SQL Serverはマイクロソフトのリレーショナルデータベース管理システムです。データマイニングや多次元解析など、ビジネスインテリジェンスのための機能が備わっています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Azure

Azureは、マイクロソフトのクラウド プラットフォームで、旧称は Windows Azureです。PaaSとIaaSを組み合わせることで、 コンピューティング・ストレージ・データ・ネットワーキング・アプリケーションなど多くの機能を持ちます。

Q&A

解決済

1回答

1124閲覧

pyodbcのfast_excutemanyを使用、Azure SQLDatabase への insertでエラーになります。

tatata0813

総合スコア1

SQL Server

SQL Serverはマイクロソフトのリレーショナルデータベース管理システムです。データマイニングや多次元解析など、ビジネスインテリジェンスのための機能が備わっています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Azure

Azureは、マイクロソフトのクラウド プラットフォームで、旧称は Windows Azureです。PaaSとIaaSを組み合わせることで、 コンピューティング・ストレージ・データ・ネットワーキング・アプリケーションなど多くの機能を持ちます。

0グッド

0クリップ

投稿2023/04/10 09:25

編集2023/04/11 02:29

実現したいこと

pythonのライブラリpyodbcで、Azure SQLDatabaseへ100万行のデータを挿入したいです。
insert時にはexcutemanyを使用しており、fast_executemanyがFalseだと遅いのでTrueにして使用したいと思っております。

内容

pythonライブラリpyodbc を使用して、Azure SQLDatabaseへのデータ挿入を実施しているのですがエラーとなってしまい処理が止まってしまいます。どうにかこのエラーを回避したいと考えております。
fast_executemany=Trueでexcutemanyを使用して、100万行を挿入しようとすると15秒位経ってから以下のエラーが表示されます。
odbcドライバは、「Microsoft ODBC Driver 17 for SQL Server」を使用しています。

DB側の設定

ファイアウォール:IP指定されていることを確認
接続ポリシー:リダイレクト
価格レベル:Basic

エラー内容

例外が発生しました: OperationalError ('08S01', '[08S01] [Microsoft][ODBC Driver 17 for SQL Server]通信リンクが失敗しました。 (-2147467259) (SQLEndTran(SQL_ROLLBACK))') ('08S01', '[08S01] [Microsoft][ODBC Driver 17 for SQL Server]TCP Provider: 既存の接続はリモート ホストに強制的に切断されました。 (10054) (SQLExecute); [08S01] [Microsoft][ODBC Driver 17 for SQL Server]Communication link failure (10054)')

ソースコード

python: 3.10.10
pyodbc: 4.0.35

import pandas as pd import numpy as np import pyodbc import datetime # AzureSQLDatabase connect_info = "Driver={ODBC Driver 17 for SQL Server};Server=tcp:[hostname],1433;Database=[dbname];Uid=[username];Pwd=[password];Encrypt=yes;TrustServerCertificate=no;Connection Timeout=30;" with open([csvファイル], 'r', encoding='utf-8') as file_object: # dataframe→リスト化 file_object.seek(0) df = pd.read_csv(file_object, header=0, dtype={i:"str" for i in range(1,20)}) # 19列のデータのため df = df.replace({np.nan: None}) data_list = df.values.tolist() # excutemany SQL作成 tablename = "testtable" sql = f"insert into {tablename} values (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)" # 19列のデータのため with pyodbc.connect(connect_info) as con: with con.cursor() as cur: cur.fast_executemany = True size = 1000000 for i in range(0, len(data_list), size): print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')) cur.executemany(sql, data_list[i:i+size]) con.commit() print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))

試したこと

・接続先のDBをローカルのSQLServerに変更して、同様にexcutemanyを実施
→insertは問題なく成功する(100万行を4回ループで10分くらい)
・接続文字列に「Command Timeout=0」「Timeout=0」などを追記
→変化なし
・ループする行数を決めるsizeを10000行に減らす
→成功する
・ODBCドライバを「ODBC Driver 18 for SQL Server」に変えてみる
→変化なし

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

Azure SQLDatabase側のメモリ不足のようで、エラーがあるようです。

DBのスペック変更やバッチサイズの変更、または、
Blobストレージからのデータ投入/bcpユーティリティの使用してのデータ投入を検討します。

投稿2023/05/08 09:30

tatata0813

総合スコア1

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問