大量データ処理について

Question

ショッピングサイトのエンジニアをやってます。
以下質問がございます。

①月の受注データ（10万件ほど）をselectして、
②別に読み込んだcsvファイルのデータと1件ずつ突合チェックをして、
③そのデータを整形して、
④整形したデータを別のテーブルにinsertして、
⑤そのisertしたデータを画面に表示する。

という処理があるのですが、
なるべく負荷が掛からないように、
うまく速く処理させるには、
何かいい方法はありますか？

DBはMySQLです。

ご教示いただけますと幸いです。
よろしくお願致します。

Answer 1

CSVファイルを一時テーブルへ取り込んで突合させるのが早いと思います。

CSVファイルの取り込み方ですが
CSVの項目に合わせた一時テーブルを作り、そこにファイル指定で高速に投入ができますよ。

例：
LOAD DATA INFILE "C://hogehogeSyohin.csv" INTO TABLE tmp_syohin_table FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n';

Answer 2

②のCSVファイルを一時テーブルに取り込んだ後、①③④をストアドプロシージャで処理してはいかがでしょうか。