Mysql でCSVファイルのインポートができない

Question

mysql 80
windows10 version 1809

5.79MBのcsvファイルを、Mysql for Excelを使ってMYsqlにインポートしようとしたところ、

MySQL Error 1153:
Packets larger than max_allowed_packet are not allowed.

と出てインポートすることができなかったです。

C:\Program Files\MySQL\MySQL Server 8.0にある、my.iniファイルを開き、

max_allowed_packet=8M

と書き替えました。

サービスを再起動してmysqlに接続自体はできます。

この状態でもやはり同じエラーが出ました。

どうすればインポートできるでしょうか

Comments

[rubytomato]

https://dev.mysql.com/doc/refman/8.0/en/packet-too-large.html

上記のページで確認する限りでは、MySQL 8.0 でのmax_allowd_packageのデフォルト値は
server側 : 64MB
client側 : 16MB
となっているようです。

なので敢えて8MBに設定しなおす必要はないと思うのですが、実際にエラーが発生しているということはMySQL for Excelに問題があるのかもしれません。（MySQL for Excelは使ったことが無いのでこれ以上言及はできません。）

いずれにせよ、設定が反映されているかどうか以下のコマンドで確認できます。
root等の権限をもっているユーザでサーバにログインして実行してください。

show variables like '%max_allowed_packet%';

Answer 1

普段はHeidiSQLというSQLクライアントを使用しています。
あんまりファイルサイズは気にせずロードできているので、Mysql for Excelより良いかもしれません。

Answer 2

そんな面倒な事しなくても[MySQL]巨大なCSVをインポートするの「CSVエンジン利用」の方法を使えばほぼ一瞬でインポートできますよ。
ただまぁ、失敗すると壊れますが。

（てか、分割して取り込むとか、知識もスキルも無いなら自分なりの工夫をしてみてはどうでしょうか？）

Comments

[masaking]

リンクを確認しました。
上司に確認したところ、＄sudo は、ユニックスのコマンドだから手を出すな、と言われたので、上記の方法はできないです。

知識もスキルもないので自分なりに工夫した結果、100行単位であればエラーが出ずにインポートできます。しかし、全体で10422行あるので、同じ作業を104回繰り返すことになるので、ほかの方法を模索しています。

知識もスキルもないので、ほかにどのような工夫ができるのか、発想自体ができないです。

[nandymak]

sudo はWindowsでいうところの管理者権限のようなもので、今回は関係ないですね。

1行あたり何Byteありますか？
max_allowed_packet=8Mなので、1回あたりのファイルサイズが8MBに収まれば投入できるはずです。
行当たりのByte数がバラバラなら8MBを平均値で割って、ある程度余裕を見てファイルを分割すればよいかと思います。
1000行なら11回、2000行なら5回で済みますね。

max_allowed_packet=8Mを16M→32Mと増やすことができれば、回数が少なくて済みます。