文字列を指定バイト数で分割したい。

Question

長くなりますが、案をいただけるとすごく助かります。

[背景]
テーブルのレコードを削除する前に、別テーブルに削除対象のレコードのバックアップ残しておくようにしたいと考えています。
ただ、バックアップを取っておく対象テーブルが複数あり、すべてのバックアップを1つのテーブルで取る必要が出ていました。
現在下記のようにイメージしています。
●バックアップ対象テーブル

hoge1	hoge2	hoge3
aaa	あああ	日時

●バックアップ用テーブル

データ作成日時	バックアップデータ1	バックアップデータ2
2021/11/04	aaa,あああ,日時

※バックアップデータ１に収まらなかった文字列を、バックアップデータ２に格納する。

[本題]
環境としては現在Javaで作業しているのですが、バックアップ対象テーブルのデータを
登録したい状態でString型の変数に詰めるところまではできたのですが、
バックアップデータ１で収まらない文字列を、どのようにバックアップデータ２に持たせればいいかわかりません。
案としては下記を提示しましたが、文字数が多いとかなりループを回さないといけないから却下と上司から言われました。

		/**
		 * １．文字を1文字切り出す 
		 * ２．その文字のバイト数を数える 
		 * ３．「３．」で指定バイト数(4000)より多ければ、hoge2に詰める 
		 * ４．「１．」に戻る。
		 * ５．「２．」のバイト数と既に検査した文字の総バイト数を足して
		 *  指定バイト数(4000)より小さければ文字をhoge1に追加。
		 */
		String hoge = "aaa,あああ,日時";
		StringBuffer hoge1 = new StringBuffer();
		StringBuffer hoge2 = new StringBuffer();
		int cnt = 0;

		for (int i = 0; i < hoge.length(); i++) {
			String tmpStr = hoge.substring(i, i + 1);
			byte[] b = tmpStr.getBytes("UTF-8");
			if (cnt + b.length > 4000) {
				hoge2.append(tmpStr);
			} else {
				hoge1.append(tmpStr);
				cnt += b.length;
			}
		}

自分ではこれくらいしか思いつかないため、ほかにも案をいただきたいと思っています。
もちろんJavaでの実装でなくても、バックアップテーブルへのINSERT時に切り分けができるのであれば
DMLでの案でも大丈夫です。
環境はOracleを使用しています。

お手数ですが、どなたか力を貸してください。。。
説明に不足等あれば、別途説明いたします。

Comments

[KOZ6.0]

上司はあなたに悩んでほしいんだと思いますのでヒントだけ。
hoge1 に入る文字数が分かったら、それ以外は hoge2 に入りますから、１文字ずつ分解する必要はありません。

[Luice]

通常あまり見ないバックアップ手法ですね…
正直あまり良いバックアップ方法ではないと思います。

提示された要件とは別の方向性の回答なので、追記欄に記載します。
- 物理削除ではなく論理削除にする
- ログに出力する
- バックアップデータ1のサイズを十分に確保する
- lob型(clob)のカラムにする
- table毎にバックアップテーブルを用意してトリガーで操作する
あたりが今まで見てきた実装です。

[pbdev]

おっしゃる通り、指定文字数で分割するのであれば1文字ずつ分解する必要はなく、substring実現可能です。
今回は分割した文字列をさらにテーブルへINSERTするため、バイト単位で考えています。
文字数で分割してしまうとINSERT時に1カラムに収まりきらないバイト数である場合、エラーが発生してしまうためです。

[Luice]

ちなみにbyte単位で分割とありますが、文字の途中でぶった切る事もありえます。
そうするとカラム単位で参照した時に文字化けする事になりますが、
それについては問題無いのでしょうか？

[KOZ6.0]

hoge1 に入る文字数を求めるために、1文字ずつ分解していくところはいいんですよ。
hoge2 は必要ないですよね？

[pbdev]

Luiceさん
アドバイスありがとうございます。
提示いただいた内容でしか私も実装したことがなく、今の案件について少し戸惑っています。

>ちなみにbyte単位で分割とありますが、文字の途中でぶった切る事もありえます。
おっしゃる通り途中でぶった切る可能性があるため、私の出した案では1バイトでも指定したバイト数を超えるようであれば文字単位でバックアップデータ２に入れるようにしています。

今考えているのは1カラムの情報量はそれほど多くないので、カラム単位でループしてやれば繰り返す回数も少なくて済むのかなと考えています。。。

[Luice]

バックアップデータ2が溢れた場合はどうするんでしょうか？

[pbdev]

KOZ6.0さん
申し訳ありません。
勘違いしていました。

おっしゃる通りで、hoge1に入れる文字数が決まればそこからhoge - hoge1で残りのhoge2に入れる文字列が決まりますね。

[pbdev]

Luiceさん
現状だとバックアップデータ3のカラムを用意して。。。
とかなり不細工な状態になると思います。

[jimbe]

URL でもご提示できるかとテキトウに探してましたら、ご質問そっくりのコードが… http://piyopiyocs.blog115.fc2.com/blog-entry-232.html
こちらから拝借されたのでしょうか ^^;
(コメント間違ってますけど。)

[pbdev]

jimbeさん
拝借して一部変更しただけですねｗ

Answer 1

質問のコードは間違っています。
20バイトの "aaa,あああ,日時" を 12バイトまでで分割すると
10バイトの "aaa,ああ" と 10バイトの "あ,日時" になるべきなのに、
11バイトの "aaa,ああ," と 9バイトの "あ日時" になってしまいます。

さて、次のコードはいかがでしょうか？

class Main {
    public static void main(String[] args) throws Exception {
        String hoge = "aaa,あああ,日時";
		for (int i = 0; i < 22; i++) {
			String[] ss = split(hoge, i);
			System.out.println(i + " [" + ss[0] + "] [" + ss[1] + "]");
		}
	}

	// 文字列 s を kバイトまでの文字列と、それ以降の文字列に分割する
	static String[] split(String s, int k) {
		byte[] b = s.getBytes();
		String[] s2 = { s, "" };
		if (b.length > k) {
			while ((b[k] & 0xc0) == 0x80) k--;
			s2[0] = new String(b, 0, k);
			s2[1] = s.substring(s2[0].length());
		}
		return s2;
	}
}

実行結果

0 [] [aaa,あああ,日時]
1 [a] [aa,あああ,日時]
2 [aa] [a,あああ,日時]
3 [aaa] [,あああ,日時]
4 [aaa,] [あああ,日時]
5 [aaa,] [あああ,日時]
6 [aaa,] [あああ,日時]
7 [aaa,あ] [ああ,日時]
8 [aaa,あ] [ああ,日時]
9 [aaa,あ] [ああ,日時]
10 [aaa,ああ] [あ,日時]
11 [aaa,ああ] [あ,日時]
12 [aaa,ああ] [あ,日時]
13 [aaa,あああ] [,日時]
14 [aaa,あああ,] [日時]
15 [aaa,あああ,] [日時]
16 [aaa,あああ,] [日時]
17 [aaa,あああ,日] [時]
18 [aaa,あああ,日] [時]
19 [aaa,あああ,日] [時]
20 [aaa,あああ,日時] []
21 [aaa,あああ,日時] []

split は指定のバイトで分割した時、後半の文字列が先頭バイトから
始まっていない場合、1バイトずつ戻って先頭バイトを探していきます。
ループは数回で済みます。

Answer 2

つらつら考えまして、java でやるとすればどこかでループは避けられないと思いますが、上司はその点はどう考えているのでしょう。

例えば UTF8 では

int getUTF8Length(byte b) throws UnsupportedEncodingException {
  if((b & 0x80) == 0) return 1;
  if((b & 0xe0) == 0xc0) return 2;
  if((b & 0xf0) == 0xe0) return 3;
  if((b & 0xf8) == 0xf0) return 4;
  throw new UnsupportedEncodingException();
}

といった感じで先頭のバイト値でその文字の必要バイト数が出せます。
これを用いて文字数とバイト数を加算していけば、限界バイト数を超えた時点での文字数を得たりできると思いますが、ループなんですよね ^^;

---

ループはしますが内部で文字列編集（や getBytes() 等）はしないという方向で、 substring に使える値を返すメソッドにしてみました。

テスト文字列は shiketa さんの回答から頂きました。

package teratail_java.q367700;

import java.io.UnsupportedEncodingException;

public class Q367700 {
  public static void main(String[] args) throws UnsupportedEncodingException {
    final String data = "あいaうg\uD867\uDE3Dえhおjかkきlくlけこhdさjしuすuせそ";
    System.out.println("'"+data+"'");

    for(int i=0; i<20; i++) {
      int v = countChar(data, i, 0);
      System.out.print("i="+i+", v="+v);
      String s = data.substring(0, v);
      System.out.println(": '"+s+"'="+s.getBytes("UTF8").length);
    }

    System.out.println("------------");

    for(int start=0, v=0; (v=countChar(data,13,start)) > 0; start+=v) {
      System.out.print("v="+v);
      String s = data.substring(start, start+v);
      System.out.println(": '"+s+"'="+s.getBytes("UTF8").length);
    }
  }

  //UTF8 にした時に nbyte に収まる文字数を返す.
  private static int countChar(String src, int nbyte, int start) throws UnsupportedEncodingException {
    int last = start;
    for(int i=0; last<src.length(); ) {
      char c = src.charAt(last);
      i += getUTF8Length(c);
      if(i > nbyte) break;
      last += getUTF16Length(c);
    }
    return last - start;
  }

  private static int getUTF16Length(char c) throws UnsupportedEncodingException {
    int v = c & 0xffff;
    if(isHighSurrogate(v)) return 2;
    if(isLowSurrogate(v)) throw new UnsupportedEncodingException();
    return 1;
  }

  private static int getUTF8Length(char c) throws UnsupportedEncodingException {
    int v = c & 0xffff;
    if(isHighSurrogate(v)) return 4;
    if(isLowSurrogate(v)) throw new UnsupportedEncodingException();
    if(v < 128) return 1;
    if(v < 2048) return 2;
    return 3;
  }

  private static boolean isHighSurrogate(int c) {
    return 0xd800 <= c && c < 0xdc00;
  }

  private static boolean isLowSurrogate(int c) {
    return 0xdc00 <= c && c < 0xe000;
  }
}

'あいaうg????えhおjかkきlくlけこhdさjしuすuせそ'
i=0, v=0: ''=0
i=1, v=0: ''=0
i=2, v=0: ''=0
i=3, v=1: 'あ'=3
i=4, v=1: 'あ'=3
i=5, v=1: 'あ'=3
i=6, v=2: 'あい'=6
i=7, v=3: 'あいa'=7
i=8, v=3: 'あいa'=7
i=9, v=3: 'あいa'=7
i=10, v=4: 'あいaう'=10
i=11, v=5: 'あいaうg'=11
i=12, v=5: 'あいaうg'=11
i=13, v=5: 'あいaうg'=11
i=14, v=5: 'あいaうg'=11
i=15, v=7: 'あいaうg????'=15
i=16, v=7: 'あいaうg????'=15
i=17, v=7: 'あいaうg????'=15
i=18, v=8: 'あいaうg????え'=18
i=19, v=9: 'あいaうg????えh'=19
------------
v=5: 'あいaうg'=11
v=6: '????えhおj'=12
v=6: 'かkきlくl'=12
v=6: 'けこhdさj'=12
v=5: 'しuすuせ'=11
v=1: 'そ'=3

Comments

[pbdev]

おそらく上司も特に案はなく、ただループの処理が気に食わなかっただけだと思います。。。
（世知辛い世の中ですね）

貴重な案をいただきありがとうございます！
含めて再度検討してみようと思います。

[kazuma-s]

(0xd800 <= v || v < 0xdc00) は (0xd800 <= v && v < 0xdc00) の間違いではありませんか？
2か所あります。

[jimbe]

・・・その通りです、ありがとうございます orz

Answer 3

サロゲート文字とか考えるとうんざりなので、codePoints()をつかいますかねぇ。

import java.nio.ByteBuffer;
import java.nio.charset.StandardCharsets;

public class Hokke{
  public static void main(final String[] args) throws Exception {
    final String data = "あいaうg\uD867\uDE3Dえhおjかkきlくlけこhdさjしuすuせそ";

    final ByteBuffer buf = ByteBuffer.allocate(13);

    data.codePoints().forEach(cp -> {
      final String ch = new String(new int[] { cp }, 0, 1);
      final byte[] bytes = ch.getBytes(StandardCharsets.UTF_8);

      if (buf.remaining() < bytes.length) {
        final String backup = new String(buf.array(), 0, buf.position());
        System.out.println(String.format("backup:<%s> pos:%d", backup, buf.position()));
        buf.clear();
      }

      buf.put(bytes);
      //      System.out.println(String.format("pos:%d, rem:%d", buf.position(), buf.remaining()));
    });

    final String backup = new String(buf.array(), 0, buf.position());
    System.out.println(String.format("backup:<%s> pos:%d", backup, buf.position()));
  }
}

//backup:<あいaうg> pos:11
//backup:<????えhおj> pos:12
//backup:<かkきlくl> pos:12
//backup:<けこhdさj> pos:12
//backup:<しuすuせ> pos:11
//backup:<そ> pos:3

Comments

[pbdev]

貴重な案をいただきありがとうございます！
いただいた案含めて検討したいと思います。

Answer 4

byte配列を区切るなら、ArrayUtilsを使うのがベターでしょう。

see : https://commons.apache.org/proper/commons-lang/javadocs/api-release/org/apache/commons/lang3/ArrayUtils.html#subarray-byte:A-int-int-

バックアップ用テーブルの定義はわかりませんが、
先に指摘した通り、全カラムが溢れた場合のガード処理は入れておく必要があると思います。

Comments

[jimbe]

このメソッドは文字の境目は意識しないのではないでしょうか。

[Luice]

文字列考慮ならこれ駄目ですね