csvファイルのDB読み込みの相談（Mysql） 【DBに詳しいかた】

Question

csvファイルのDB読み込みについて、以下の手順で実施できたのですが、手順が多く煩わしく、csvファイルからDBにデータを読み込み、テーブル作成から投入までお手軽かつ、一気にできないか気になっており、助言をいただければと思います。

1. MYSQLにデータベースと読み込むCSVが適合するテーブルを作成する
2. 作成したテーブルに対して以下のコマンドで、CSVの列番号とデータベースのカラム名を一致させるようにインポート

実施したい内容

インポートしたいcsvを読み込むと、勝手に型判定して、テーブルまで自動的に作ってくれる
（こちらコーディングすれば、できるのはわかっているのですが、既存のライブラリ等でできるなら、そちらで実装したく）

該当のソースコード

LOAD DATA INFILE 'file_name'
INTO TABLE table_name
FIELDS TERMINATED BY ';' ENCLOSED BY '"'
LINES TERMINATED BY '¥r¥n' IGNORE 1 LINES
(@fieldA, @fieldB, @fieldC, @fieldD, @fieldE, @fieldF)
SET col2=@fieldA, col3=@fieldC, col4=@fieldD, col5=@fieldF;

補足情報

DBのインポートに関して参考になるリンク等ありましたら、いただければと思います。

Answer 1

以下参考。
csvkit
csvkit で CSV ファイルを自在に操る

Comments

[reotantan]

ありがとうございます。よろしくお願いします

Answer 2

pandasのDataFrameに変換し、to_sqlでデータベースにテーブルを作るというのはどうでしょうか。

pandas.DataFrame.to_sql — pandas 0.24.2 documentation

Comments

[reotantan]

回答ありがとうございます。
pandasですね、名前は聞いたことはありましたが、あまり学習したことがなく、勉強してみます。

■質問：pandasは他の実装に比べて処理時間が短いのか
また一点、気になったのが、pandasは他の実装方法に比べて、処理時間は短いものなのか、ご理解の範囲で構いませんので教えていただいてもよろしいでしょうか。（私自身、それぞれの処理時間を比較していくつもりですが、（職種的に大量のデータを処理することになりそうで、プロの方の理解をお聞きしたく）

[hayataka2049]

プロという訳ではありませんが、pandasの処理速度としては、
- 基本的にオンメモリで処理するので、メモリに乗り切るのであれば高速に処理できます。ただし、書き方次第で数桁変わったりもするので、慣れていないと少し困るかもしれません。
- メモリに乗り切らない規模だと遅いというか、処理できません。CSVの大きさが1GB以下くらいであればなんとかハンドリングできる可能性が高いですが（ただし型にもよるので一概に言えない）、それより大きいのであれば工夫が要ります。

[reotantan]

お返事が遅くなってしまい、失礼しました。
オンメモリで処理だと一定量までは高速に処理できるが、一定量を越えると分散処理といった工夫が必要ですね。
ご回答ありがとうございました。