JavaでSQLファイルの個人情報部分をマスキングして新しいテストファイルを作る方法がわからない。

Question

前提・実現したいこと

SQLファイルの中に大量の顧客データが入っており、それをJavaを用いてマスキングしたいです。具体的には、JavaでそのSQLファイルを読み込んで、個人情報がマスキングされたバージョンのSQLファイルを新たに生成するJavaプログラムを作りたいです。

発生している問題・エラーメッセージ

JavaでSQLファイルの必要部分をマスキングして新しいテストファイルを作る方法がわからない。

該当のソースコード

INSERT INTO `wp_postmeta` (`meta_id`, `post_id`, `meta_key`, `meta_value`) VALUES
...
(112, 32, '_customer_user', '11'),
(113, 32, '_payment_method', 'cod'),
(114, 32, '_payment_method_title', '代金引換'),
(115, 32, '_customer_ip_address', '::1'),
(116, 32, '_customer_user_agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'),
(117, 32, '_created_via', 'checkout'),
(118, 32, '_cart_hash', '87df4e6e684584c5061fed4b9e6f1063'),
(119, 32, '_billing_first_name', '利人'),
(120, 32, '_billing_last_name', '遠藤'),
(121, 32, '_billing_address_1', '8-9-1'),
(122, 32, '_billing_city', '四万十市西土佐岩間'),
(123, 32, '_billing_state', 'JP39'),
(124, 32, '_billing_postcode', '787-1321'),
(125, 32, '_billing_country', 'JP'),
(126, 32, '_billing_email', '[e-mail]'),
(127, 32, '_billing_phone', '090-7716-5803'),
(128, 32, '_order_currency', 'JPY'),
(129, 32, '_cart_discount', '0'),
(130, 32, '_cart_discount_tax', '0'),
(131, 32, '_order_shipping', '0'),
(132, 32, '_order_shipping_tax', '0'),
(133, 32, '_order_tax', '0'),
(134, 32, '_order_total', '11700'),
(135, 32, '_order_version', '3.7.0'),
(136, 32, '_prices_include_tax', 'no'),
(137, 32, '_billing_address_index', '利人 遠藤  8-9-1  四万十市西土佐岩間 JP39 787-1321 JP [e-mail] 090-7716-5803'),
(138, 32, '_shipping_address_index', '        '),
(139, 32, 'is_vat_exempt', 'no'),
(140, 32, '_download_permissions_granted', 'yes'),
(141, 32, '_recorded_sales', 'yes'),
(142, 32, '_recorded_coupon_usage_counts', 'yes'),
(143, 32, '_order_stock_reduced', 'yes'),

ここにより詳細な情報を記載してください。

上記コードのように、個人情報は４列目に記載されていて、３列目のkeyと紐づけられているので、Javaで3列目のkeyが例えば'?billing_address_index'の場合は、最後の何文字は＊に置換する、といったようにして個人情報をマスキングしたいです。
ただ、全てのデータをユニークなままにしたいので、全ての文字を＊に置換するということはしたくありません。

Answer 1

SQLパーサ(またはデパーサ機能があるもの）についてはいくつかありますが、MySQLの一括INSERTに対応できるパーサ・デパーサは、JSQLParser:https://github.com/JSQLParser/JSqlParser があります。

package com.github.apz.java8sample;

import java.io.File;
import java.nio.charset.Charset;
import java.nio.file.Files;
import java.util.List;
import java.util.stream.Collectors;

import net.sf.jsqlparser.expression.Expression;
import net.sf.jsqlparser.expression.operators.relational.ExpressionList;
import net.sf.jsqlparser.expression.operators.relational.MultiExpressionList;
import net.sf.jsqlparser.parser.CCJSqlParserUtil;
import net.sf.jsqlparser.schema.Column;
import net.sf.jsqlparser.statement.Statement;
import net.sf.jsqlparser.statement.insert.Insert;

/**
 * JSQL Insertパーサの実装例
 * @author a-pz
 *
 */
public class JSQLInsertSample {

	public static void main(String[] args) throws Exception {
		JSQLInsertSample sample = new JSQLInsertSample();
		sample.execute();
	}

	public void execute() throws Exception {
		String sql = getSQL("insert.sql");

		Statement statement = CCJSqlParserUtil.parse(sql);
		Insert insert = (Insert) statement;

		// INSERTのcolumn
		List<Column> columns = insert.getColumns();
		columns.stream().forEach(column -> {
			System.out.println(column.getColumnName());
		});

		// INSERT文のVALUES要素をすべて取得
		MultiExpressionList itemsList = (MultiExpressionList)insert.getItemsList();

		// VALUES要素を1行ごとにListへ展開
		List<ExpressionList> expressionList = itemsList.getExprList();

		expressionList.forEach(explist -> {
			List<Expression> expression = explist.getExpressions();

			expression.forEach(exp -> {
				System.out.print( exp.toString() + ", ");
			});
			System.out.println();
		});
	}

	String getClasspath() {
		String classpath = Thread.currentThread().getContextClassLoader().getResource("").getPath();
		return classpath;
	}

	String getSQL(String filename) throws Exception {
		String sqlfile = getClasspath() + filename;
		File file = new File(sqlfile);
		List<String> lines = Files.readAllLines( file.toPath() , Charset.forName("utf-8"));
		String sql = lines.stream().collect(Collectors.joining("\r\n"));
		return sql;
	}
}

これを利用すれば、INSERT文を一気にマスク化したSQLに変換できるでしょう。

Answer 2

マスキングされたユニークな値を持つテーブルを自力で作成していくしか方法は無いように思います。愚直な例ですが、

1. 分かり易く処理対象を限定するために、{meta_key, meta_value}を1要素とする全データ、N件のテーブル st を初期データとして作成する。
2. stを対象に、meta_keyの数、つまりN件分の処理を行う。ループカウンターを i として、1...N 間ループする。

2-1. st[i] の meta_value をもとに、最後の何文字かを *でマスクする。これを候補値 rv とする。
2-2. 候補値 rv が、テーブルst 内の st[i] 以外の要素に存在しないか確認する。
(a) 存在しない場合
ユニークな値であることが確定したので、st[i] の meta_value を rvにする。
(b) 既に存在する場合
候補値 rvはユニークではないので、衝突しないであろう別の値に改変し、rvの値を再生成する。2-2へ戻る。

1. ループ終了。上記1,2で処理済のstの値は、meta_valueがマスキングされたユニークなデータとなる。

少なくとも個人的にはロジックだけの問題だと思いますので、コードでの例示は省きます。
また、上記で言うテーブルst のような要素のコレクションに対して、Javaで使い得るラムダ式を併用したような関数型プログラミングをすれば、よりスマートに見えるコードが書けるようにも思います。