文字列を切りだしファイルを出力する方法について

Question

以下のsqlファイル(実際は10万行程あります)のCREATE TABLE文を抜き出し、client_db_test_1050.sqlのような形でファイルを作成していく方法がありましたら、教えて頂きたいです

--
-- テーブルの構造 `client_db_test_1050`
--
CREATE TABLE IF NOT EXISTS `client_db_test_1050` (
  `id` int NOT NULL AUTO_INCREMENT COMMENT '番号',
  `relation_id` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT 'testID',
  
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci COMMENT='test1' AUTO_INCREMENT=1020 ;
--
-- テーブルの構造 `client_db_test_2010`
--
CREATE TABLE IF NOT EXISTS `client_db_test_2010` (
  `id` int NOT NULL COMMENT '番号',
  `relation_id` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT 'testID',
  
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci COMMENT='test2';

現状のコードは以下になります

path = './stage.sql'
file_name = "client_db_test_1050.sql"
with open(path) as f:
    print(f.read())
    data_lines = f.read()
data_lines = data_lines.replace("AUTO_INCREMENT", "")

with open(file_name, mode="w",) as f:
    f.write(data_lines)

ご助言いただけましたら幸いです！

Comments

[otn]

「行頭にCREATEがある行から、行頭に閉じ括弧がある行まで」を抽出するのか、SQLの文法解析を行ってCREATE文を抽出するのか、どういう方針でしょうか？

[ruuuu]

ご指摘ありがとうございます。
自分あまりPythonやSQLに詳しくなく方法に関しましては、良く分かっていない部分も多いのですが、現状ご提示頂きました「行頭にCREATEがある行から、行頭に閉じ括弧がある行まで」こちらの形で実装できたらなと考えております

[otn]

「行頭が～～」で済むように書式が決まっているのであれば、正規表現が楽でしょうね。

あと、.replace("AUTO_INCREMENT", "") すると、AUTO_INCREMENT=1020 が、=1020 になって文法エラーですが、AUTO_INCREMENT=1020 をまるごと削除では？

[ruuuu]

ありがとうございます。
>.replace("AUTO_INCREMENT", "") すると、AUTO_INCREMENT=1020 が、=1020 になって文法エラーですが、AUTO_INCREMENT=1020 をまるごと削除では？

こちら、全くご指摘の通りでございます
実は、ここの部分も困っておりまして、カラム部分の「AUTO_INCREMENT」部分も削除したいのですが、「AUTO_INCREMENT=1020」ここの箇所も丸ごと削除したいと考えております。
また、「1020」ここの数字もCREATE文によっては異なる為、こちらの部分もどう対応を行うか検討中といった状況です...

Answer 1

Pythonにこだわりが無ければ、awkだとコンパクトで簡明に書けます。

awk '/^CREATE/{gsub(/`/,"");fn=$6 ".sql"}
/^CREATE/,/^)/{sub(/AUTO_INCREMENT[^ ]*/,"");print >fn}' inputfile.sql

・CREATE行のバッククォートを除いて第6要素を元に出力ファイル名を決める
・AUTO_INCREMENTで始まり、空白でない文字が続いた物を削除

#追記：
ファイル数が多過ぎてオープン数のエラーになる場合への対応。

awk '/^CREATE/{if(fn!="")close(fn);gsub(/`/,"");fn=$6 ".sql"}
/^CREATE/,/^)/{sub(/AUTO_INCREMENT[^ ]*/,"");print >fn}' inputfile.sql

と、テーブルが変わるごとにクローズすれば、おそらく良いと思います。

Comments

[ruuuu]

ご回答ありがとうございます。
大変助かります。
すみません。
「awk」と言う言語は初めて知ったのですが、現状の元データであるSQLファイル「stage.sql」に対して実行したかった場合、どのように指定を行えばよろしいでしょうか...?

[otn]

回答中に書いた inputfile.sql というのが入力ファイルの例です。
名前で意図が通じると思ったのですが、説明を書いた方が良かったですね。

[ruuuu]

とんでもございません。

[ruuuu]

ご返信ありがとうございます。
すみません。
度々恐縮なのですが、ただいま以下のコマンドを実行してみたのですが、エラーが出力されてしまいました。
awk '/^CREATE/{gsub(/`/,"");fn=$6 ".sql"}/^CREATE/,/^)/{sub(/AUTO_INCREMENT[^ ]*/,"");print >fn}' stage.sql

エラーの内容は以下となっておりました
awk: syntax error in regular expression ^) at
source line number 1
context is
/^CREATE/{gsub(/`/,"");fn=$6 >>> ".sql"}/^CREATE/,/^)/ <<<

[ruuuu]

お手数をおかけし、大変恐縮なのですが少々チェックの程頂けましたら幸いです
何卒よろしくお願い致します

[otn]

すみません。手元のawkで動いていたので、そのまま書いてしまいましたが、修正しておきます。
/^)/ は、/^)/ が正しいです。

[ruuuu]

ありがとうございます。
度々申し訳ありません。
テストファイルにて試してみましたら、該当のエラーは解消出来たのですが、実データが格納されておりましたSQLファイルに対して実行してみましたら、以下のエラーが出力されてしまいました。
awk: action_score.sql makes too many open files
input record number 625, file stg.sql
source line number 1

こちら、エラー内容で検索してみました所、以下の記事がヒットし「close("file"i);」こちらのコマンドを組み込めば良いといったことまで推測がついたのですが、ご提示頂きましたコマンドのどこの部分に当てはめれば良いかが分からない状況です。
https://stackoverflow.com/questions/32878146/too-many-open-files-error-while-running-awk-command

本当に度々お手数をおかけし申し訳ないのですが、ご助言の程頂けましたら幸いです。
よろしくお願い致します

[otn]

なるほど。テーブル数が3桁4桁ですね。
修正してみます。

[ruuuu]

重ね重ね誠にありがとうございました。
更新対象のSQLファイルが10万行もあり、手作業で更新、ファイルを作成するには大変な作業となってしまっておりました為、ご教示頂き大変助かりました
お忙しい中ご親切にありがとうございました。

Answer 2

sqlparseというモジュールが使えるでしょう。

sqlpalse.split() に文字列として与えると、有効なsql文がリストになって返ってきます。
質問の内容であれば、crate分が文字列としてリストになって返ってきます。

これを1行ずつファイルに書き出せばいいでしょう。
ファイル名に使う「client_db_test_1050」の部分も、sqlparseで取り出すこともできそうですが、僕なら正規表現で抽出しますね。

Comments

[ruuuu]

ご回答ありがとうございます。
Pythonの経験があまりなく、初歩的な質問になってしまっているかもしれないのですが、今回の場合ですと、「sqlpalse.split() に文字列」こちらにはなんの文字列を引き渡せばよろしいでしょうか...?

[TakaiY]

この質問が出るということは、ここから先かなり時間と勉強が必要になると思います。
pythonで解決することにこだわらないのであれば、otnさんの回答を採用ください。

pythonでやるなら、
・ sqlparse.split()の引数は、sqlの文字列ですから、data_linesです。
・ data_linesからファイル名の元になれものを抽出するにも、「AUTO_INCREMENT=xxx」の部分を削除するにも、文字列操作と正規表現の理解が必要です。
・リストの文字列を加工しながら、ファイルに出力するにはループで回すことになります。