質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.49%
MySQL

MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

並列処理

複数の計算が同時に実行される手法

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

1回答

3280閲覧

python並列処理でMysqlへインサート

morningglow

総合スコア85

MySQL

MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

並列処理

複数の計算が同時に実行される手法

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

1クリップ

投稿2017/09/09 15:47

編集2017/09/09 17:21

pythonでjoblibを使って並列処理でMYSQLへインサートを行いたいのですが、以下のエラーが発生してうまくインサートできません。

ProgrammingError: unsupported operand type(s) for %: 'NoneType' and 'tuple'

プログラムは以下の感じです。

from joblib import Parallel, delayed import MySQLdb con = MySQLdb.connect(host="hoge", user="hoge", passwd="hoge", db="hoge", charset="hoge") cur = con.cursor() tokens = ["hoge","hoge","hoge","hoge","hoge"] def insToken(token): cur.execute("insert into hoge (hoge) value (%s) ",('1')) Parallel(n_jobs=-1)( [delayed(insToken)(token) for token in tokens] )

本当はtokens内の情報をインサートしたいのですが、1をインサートした場合でも上記エラーで落ちます。
この時、1は複数インサートされるのですが、何回めかの並列処理で上記エラーにより落ちているようです。
並列処理でなければインサートできます。
MySQLでは同一テーブルへの同時書き込みは可能(順次インサートされる)だと考えているのですが、そもそもこの動作は不可能なのでしょうか?
お分かりのおりましたら、ご教授お願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

tokensの中身に問題があるだけのように見受けられますが。
例えば、

tokens = ["1","1","1","1","1"] def insToken(blogSeq,subSeq,token): cur.execute("insert into hoge (hoge) value (%s) " % token)

でも同じエラーが出ますか?

投稿2017/09/09 17:18

編集2017/09/09 17:21
toshi_yama

総合スコア133

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

morningglow

2017/09/09 17:29

回答ありがとうございます。 tokensは配列数分、並列処理しているだけで、中身はなんでも良いと考えていますが間違っているでしょうか? 上記のようにtokensを修正した場合でも、同じようにエラーになります。 また、下記の部分で最初の2,3並列処理の動作はインサートされるので、並列処理の部分に問題があると考えているのですが。 ``` def insToken(token): cur.execute("insert into hoge (hoge) value (%s) ",('1')) ```
toshi_yama

2017/09/09 17:36 編集

なるほど、私はむしろ ``` Parallel(n_jobs=-1)( [delayed(insToken)(token) for token in tokens] ) ``` こちらの処理で、tokensの中身がうまく取れないデータがある為 エラーで落ちていると考えておりました。 エラーが出力された行数は cur.execute 側でしょうか? それともParallel側でしょうか。
toshi_yama

2017/09/09 18:28

こちらでテスト環境を作ってみましたが、エラーは発生しませんでした。 ・OS Cent OS 6.9 ・Python 3.5.4 ・mysql Ver 14.14 Distrib 5.1.73, for redhat-linux-gnu (x86_64) using readline 5.1 pip joblib (0.11) mysqlclient (1.3.12) コード from joblib import Parallel, delayed import MySQLdb con = MySQLdb.connect(host="127.0.0.1", user="root", passwd="asdf", db="test") cur = con.cursor() tokens = ["1","2","3","4","5"] def insToken(token): cur.execute("insert into test3 values('hoge',%s) " % token ) Parallel(n_jobs=-1)( [delayed(insToken)(token) for token in tokens] ) mysqlのテーブル mysql> create table test3(hoge varchar(5), name varchar(50)); mysql> select * from test3; +------+-------+ | hoge | name | +------+-------+ | hoge | 1 | | hoge | 2 | | hoge | 3 | | hoge | 4 | | hoge | 5 | +------+-------+ 5 rows in set (0.00 sec) コードは特に問題なさそうですので、疑わしきは ・mysqlのバージョン、 ・tokenデータ どちらかです。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.49%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問