シェルスクリプトでmysql操作とデータの入れ替え

Question

実現したいこと

・シェルスクリプトで二つのデータを結合後、そのデータをmysqlにインポートしたい。

前提

現在シェルスクリプトにて、DB上のデータを丸ごと入れ替えるスクリプトを作成しています。
主な処理の流れとしては、以下の通りです。
1.mysqlに接続（ユーザー情報などは外出し）
2.DB上に既に存在しているデータをトランケート
3.同一テーブルから更新区分と追加区分に分けたデータを結合（キーは同じだけど値はマッチしない）
4.mysqlコマンドを実行して任意のテーブルにインポート

該当のソースコード

#!/bin/bash

# 定数の定義
readonly MYSQL_SCHEMA="test"
readonly ROOT_DIRECTORY="〇〇〇/info.conf"
readonly CMD_MYSQL="mysql --defaults-file=$ROOT_DIRECTORY/info.conf -t $MYSQL_SCHEMA"
readonly INSERT=加工されたデータのファイルパス
readonly INSERT_1=加工されたデータのファイルパス
readonly REPLACE=加工されたデータのファイルパス
readonly REPLACE_1=加工されたデータのファイルパス

#テーブル削除
truncateSqlTable="TRUNCATE TABLE table_name;"
truncateSqlTable_1="TRUNCATE TABLE table_name;"

#テストデータ統合処理
ImportFile=`cat {$INSERT}{$REPLACE}  > import.csv`
ImportFile_1=`cat {$INSERT_1}{$REPLACE_1}  > import_1.csv`

#データベースインポート処理
loadSql="LOAD DATA LOCAL INFILE \"${ImportFile}\" INTO TABLE "table_name" FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"';"
loadSql_1="LOAD DATA LOCAL INFILE \"${ImportFile_1}\" INTO TABLE "table_name" FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"';"

#sql実行
mysql -e  "{$CMD_MYSQL}${truncatesqlTable}${truncatesqlTable_1}${loadsql}${loadsql_1}"

試したこと

結合する部分にて、物理名は同じだが値が異なるのでcatコマンド以外に思いつきませんでした。
ソース自体へのアドバイスや良い結合の仕方などをご教示頂きたいです。

補足情報

テーブル名や変数名などは適当に伏せるためにつけました。

Answer 1

具体的なデータが書いてないので、なんとも言えないところですが、少なくとも、

ImportFile=`cat {$INSERT}{$REPLACE}  > import.csv`
ImportFile_1=`cat {$INSERT_1}{$REPLACE_1}  > import_1.csv`

は変です。INSERTやREPLACEはファイルのパスが入っているようですが、例えば、

INSERT=foo.csv
REPLACE=bar.csv
ImportFile=`cat {$INSERT}{$REPLACE}  > import.csv`

だったとすると、catの部分はcat {foo.csv}{bar.csv} > import.csvですね。
ファイル名が{foo.csv}{bar.csv}であるようなファイルは存在しないでしょうね。
{$INSERT}と{$REPLACE}は、おそらく${INSERT}と${REPLACE}の勘違い。
そして、2つの文字列が繋がった1つのファイル名じゃなくて2つの別々のファイル名とするためには間に空白が必要です。
つまり、

cat {$INSERT}{$REPLACE}  > import.csv
↓↓↓
cat ${INSERT} ${REPLACE}  > import.csv

です。これで2つのファイルが連結されます。

また、

ImportFile=`cat ${INSERT} ${REPLACE}  > import.csv`

は、catコマンドの標準出力結果を変数ImportFileに代入するという意味ですが、catコマンドの標準出力（ファイルの結合結果）はファイルにリダイレクトされているので何もありません。つまり、変数ImportFileの中身は空文字列になります。ファイル名を入れたいなら、

ImportFile=import.csv
cat ${INSERT} ${REPLACE}  > $ImportFile

でしょうか。
全体的に「雰囲気」で書いているように見えますが、厳密に考えて書かないと期待通りには動きません。

Comments

[rokie]

otnさん
ご丁寧にご回答ありがとうございます。
>>全体的に「雰囲気」で書いているように見えますが、厳密に考えて書かないと期待通りには動きません。
おっしゃる通りで少し甘いと感じています。

otnさんから見て頂いた際にDBへの接続やSQLの実行は問題なさそうでしょうか。
お手隙でご回答いただけたら嬉しいです。

[otn]

> otnさんから見て頂いた際にDBへの接続やSQLの実行は問題なさそうでしょうか。
眺めただけですが、いろいろおかしそうです。

変数の扱いがよくわかってなさそうなので、とりあえず変数を使うのを一切止めて、
cat ~~~ ~~~ > ~~~
cat ~~~ ~~~ > ~~~
mysql -e "~~~ ~~~"
の3行だけにしてはどうでしょうか。

変数の扱い方の学習はもっとシンプルな例題で。

[rokie]

otnさん
実際に接続を試したところうまく実行できませんでした。
変数の扱い方についてはもう少し学習してみます。