Embulkでバイナリのデータがコピーできない

Question

### 前提・実現したいこと

embulkでRDStoRDSでコピーをしたいのですが、バイナリデータがサポートされていていないようで、エラーになります。
エラーメッセージの通り、columnA: {value_type: string}を追加しても解消されませんでした。

何か回避方法をご存知であれば、教えて頂けると助かります。。

### 発生している問題・エラーメッセージ

```
Caused by: java.lang.UnsupportedOperationException: Unsupported type MEDIUMBLOB (sqlType=-4) of 'DATA' column. Please add 'columnA: {value_type: string}' to 'column_options: {...}' option to convert the values to strings, or exclude the column from 'select:' option
```

### コード

_input.yml.liquid

```
in:
  type: mysql
  host: {{ env.IN_MYSQL_HOST }}
  user: {{ env.IN_MYSQL_USER }}
  password: {{ env.IN_MYSQL_PASSWORD }}
  database: dbA
  select: "*"
  options: {useLegacyDatetimeCode: false, serverTimezone: Asia/Tokyo}

```

_output.yml.liquid

```
out:
  type: mysql
  mode: replace
  host: {{ env.OUT_MYSQL_HOST }}
  user: {{ env.OUT_MYSQL_USER }}
  password: {{ env.OUT_MYSQL_PASSWORD }}
  database: dbA
  select: "*"
```

config.yml.liquid
```
{% include 'input' %}
  table: tableA
{% include 'output' %}
  table: tableA
  column_options:
    DATA: {value_type: string}
```

### テーブル定義
ID:INT
DATA:MEDIUMBLOB
CREATED_DATE:DATETIME
UPDATED_DATE:DATETIME


### バージョンなど
Amazon linux2
Embulk v0.9.23
embulk-input-mysql 0.10.1
embulk-output-mysql 0.8.7

2021/06/16 追記
下記のように修正し、embulkを実行したところ、エラーになりました。

```
in:
  type: mysql
  user: user
  password: password
  database: dbA
  table: tableA
  host: host
  select: id,TO_BASE64(DATA) as DATA
out:
  type: mysql
  user: user
  password: password
  database: dbA
  table: tableA
  column_options:
    DATA:
      type: longtext
  host: host
  mode: replace
  after_load: insert into tableA(id,DATA) select id,FROM_BASE64(DATA) from tableA;
```

Accepted Answer

embulkはバイナリはそのまま取り扱いできないので、base64などascii表現できる文字列に変換して取り出し、インサートする時にデコードするというような方法が必要な気がします。

## 取り出し

取り出しは以下のように`TO_BASE64`を使ってbase64エンコードする方法が使えると思います。

```sql
create table strtest(str1 varbinary(20), str2 char(5) character set utf8);
insert into strtest values('空', '空');
```

```yaml
in:
  type: mysql
  user: user
  password: password
  database: database
  table: strtest
  host: host
  select: TO_BASE64(str1),str2
out:
  type: stdout
```

これで、

```
56m6,空
```

という結果が出てきて`echo "56m6" | openssl base64 -d`でバイナリに格納した「空」がデコードできます。


## 書き込み

書き込みは、ちょっと難しく、replaceであれば
別テーブルにbase64のまま書き込みしていいて、`embulk-output-mysql`の`after_load`オプションを使ってsqlでテーブルの洗い換えをする方法が一案かなと思います。

何か思いついたら補足しますが、インサート時にBase64データをデコードすることはできなかったような気がします。


## その他

ご質問の際に以下の情報を書いていただけるとより回答しやすいです。

* Embulkのバージョン
* ご利用のOS
* プラグインのバージョン
* 設定ファイル(機密情報等はマスク)
* テーブル定義(サンプル等)


## 2021/06/15 追記

できそうなのはこんな感じです。

```sql
create table imagetest(id int not null primary key, image MEDIUMBLOB not null);
insert into  imagetest(id,image) values(1,LOAD_FILE('/path/to/image'))；
create table imagedst(id int not null primary key, image MEDIUMBLOB not null);
```

```yaml
in:
  type: mysql
  user: user
  password: password
  database: embulk_test
  table: imagetest
  host: host
  select: id,TO_BASE64(image) as image
out:
  type: mysql
  user: user
  password: password
  database: embulk_test
  table: imagetemp
  column_options:
    image:
      type: longtext
  host: host
  mode: replace
  # ここは入れ替えするか挿入するか等によって修正
  after_load: insert into imagedst(id,image)  select id,FROM_BASE64(image) from imagetemp;
```

## 2021/06/17 追記

複数SQLの件は、ストアドプロシージャーが良いように思います。


```sql
delimiter //
create PROCEDURE sync_image_table ()
begin
  delete from imagedst;
  insert into imagedst(id,image)  select id,FROM_BASE64(image) from imagetemp;
end//
```

```yaml
  after_load: call sync_image_table()
```