Python Mysqlからデータ抽出を高速化する方法

Question

前提・実現したいこと

Mysqlのテーブル(1700万行 40列　4GB程度)をpd.DataFrameに入れる？落とす？読み込ませる？(用語がわかりません。)しているのですが、大体２時間ぐらいかかってしまいます。
なにかいい方法ありませんか？

該当のソースコード

import mysql.connector
import pandas.io.sql as psql
import pandas as pd

con = mysql.connector.connect( host='127.0.0.1',db='DB',user='root',passwd='passwd')

sql_select = 'select * from table where id in (select id from DB2) and Date >= 2001-1-1'
df_db = psql.read_sql(sql_select,con)

補足情報（FW/ツールのバージョンなど）

使用ＰＣ：Macbook pro
ＣＰＵ：Intel i7
メモリ：16GB DDR4 2400MHz

Answer 1

• 取得する行数を減らす。

１７００万件すべて必要ですか？集計したり、where句で絞り込んでください。

• 列数を減らす

select ＊ from table 〜では無く、必要な列のみを取得するようにしてください。

大体、１７００万行も取得しても処理が出来ないのでは無いですか？

Comments

[eg_]

回答ありがとうございます。

とりあえず、全部入れればいいかな？という感じで入れてました
そして、
df.query(id = idlist[n])のような形でループさせてidごとにdfを作って
（例：単価と単位の修正データ(修正ないなら１修正あった場合修正比率)を元に販売価格の列を作ろうと思ってます）を加工したいと思っています。
全部入れてしまうと大きすぎて動かないので、select文で要らない列を減らし、Idごとに取り込んで、加工してから空のdfに連結させていく形で、新しいテーブルの元のdf作ろうと思います。

Answer 2

DataFrameに格納する件数を減らして下さい。

DBにあるデータを1700万行を全部取り込んで何をしようとされているのでしょう？
バッチ的な処理なら、DB側で処理すれば良いでしょうし、表示用途で使用されているなら、select 時にlimmit offsetなどでページングを行うようにする。

Comments

[eg_]

回答ありがとうございます。

とりあえず、全部入れればいいかな？という感じで入れてました
そして、
df.query(id = idlist[n])のような形でループさせてidごとにdfを作って
（例：単価と単位の修正データ(修正ないなら１修正あった場合修正比率)を元に販売価格の列を作ろうと思ってます）を加工したいと思っています。
全部入れてしまうと大きすぎて動かないので、select文で要らない列を減らし、Idごとに取り込んで、加工してから空のdfに連結させていく形で、新しいテーブルの元のdf作ろうと思います。

[sazi]

delete,update,inserrt文だけで済ませれば、取り込む必要も無いと思います。

Answer 3

SQLがダメダメです。

where id in (select id from DB2)

この部分で時間かかってます。
分からなければ、explainしてみてください。

これをするくらいなら、（DB2のidにインデックスがあることが前提ですが）

where	EXISTS(
			SELECT	'X'
			FROM	DB2
			WHERE	DB2.id	= table.id
		)

の方がまだましです。
DB2のテーブルに何件入っているか分かりませんが、
だいぶ改善すると思いますよ。