Java 8で文字化けした文字を扱うとNullPointerExceptionになる （無効な文字を除去したい）

Question

WebサイトのクローラーでWebページを集めたファイルがあります。このクローラーは問題があり、全てのページがUTF-8であることが前提となっています（改修する予定です）。

例えば2つのWebサイトをクロールしたとします。

• WebサイトA - EUC-JPでエンコードされている
• WebサイトB - UTF-8でエンコードされている

これを1つのテキストファイルに押し込んだ結果、サイトAのテキストが全部文字化けした1つのテキストファイルができました（このバグは直しますが既に集めたデータは壊れています）。このファイルはJSONになっていて、1行に1つのサイトのデータが入っています。

ここで

char [] array = in.toCharArray();
StringBuilder sb = new StringBuilder();

for( char ch : array )
{
    boolean condition1 = Character.UnicodeBlock.of(ch).equals(CJK_UNIFIED_IDEOGRAPHS);
    boolean condition2 = Character.UnicodeBlock.of(ch).equals(BASIC_LATIN);
//  boolean condition3 = Character.UnicodeBlock.of(ch).equals(CJK_COMPATIBILITY_IDEOGRAPHS);

    if( condition1 || condition2 )
    {
        sb.append(ch);
    }
    else
    {
        // この文字は使わない
    }

のようなコードを書いています。意図するものはCJKかBASIC_LATINに属する文字の場合だけ残すことです。あとひらがな、カタカナも許可しますがここでは割愛します。

このコードで文字化けした行を読むと、condition1のところでchはNULLではないはずですが、NullPointerExceptionになります。

質問

• 同じ内容のRubyコードでは止まらずに処理できます（速度面でJavaで行いたい）
• arrayは文字の配列のはずが、nullが含まれることがあるように見える
• これを回避する方法はありませんか？
• JDKのバグだとしたら、その報告は出ていませんか？ NullPointerExceptionは一般的過ぎて検索で絞り込めませんでした
• 目的は壊れたデータを含むWebデータから有効な文字だけ取り出して処理することです。

よろしくお願いします。

Comments

[退会済みユーザー]

追記してください。プラットフォームのネイティブエンコーディングは何ですか。WebサイトAのJSONファイルのエンコーディングは何ですか。JSONファイルをFileReaderで読むと、何も指定しなければプラットフォームのネイティブエンコーディングからUnicodeに変換するが、大丈夫かな。inはUnicodeとしてコードを書いているが、すでにおかしくなっているかもしれん。えーと、定数の比較はequalsじゃなくて==で良さそうだが。

Answer 1

UnicodeBlock.of(ch) が null を返しているのだと思われるので、Unicode として全く成立していない文字は処理対象として迂回する必要があるのだろうと思います。

恐らく、次で回避できるのではないでしょうか。

Character.UnicodeBlock block = Character.UnicodeBlock.of(ch);
if (block == null) {
  continue;
}

boolean condition1 = block.equals(CJK_UNIFIED_IDEOGRAPHS);
boolean condition2 = block.equals(BASIC_LATIN);
//以下省略

根拠：Character.UnicodeBlock.of(char)の Javadoc に次のように書いてあるので。

public static Character.UnicodeBlock of(char c)

　
指定された文字が含まれているUnicodeブロックを表すオブジェクトを返します。ただし、その文字がすでに定義されているブロックのメンバーでない場合にはnullを返します。
注: このメソッドは、補助文字を処理できません。補助文字を含むすべてのUnicode文字をサポートするには、of(int)メソッドを使用してください。

パラメータ:
c - 該当する文字

戻り値:
この文字をメンバーとして持つUnicodeブロックを表すUnicodeBlockのインスタンス。文字がどのUnicodeブロックのメンバーでもない場合はnull

== 補足 ==
もし補助文字で問題になっているのなら、上の Javadoc に書いてある通り of(int) を使うように変えれば良いと思います(補助文字は端折って言うと「サロゲートペア」で表現される文字です。詳しくはネット等で確認してください)。
その場合は in が String だとして、 toCharArray() するのでなく、codePointAt(int) や codePoints() などを使って、Unicode のコード・ポイントを取得して処理するのが良いように思えます。

ただし、この of(int) メソッドに変え補助文字まで対象範囲を拡げたとしても、Unicode として成立していない場合は null が返されることが Javadoc に記載されているので、 NullPointerException 対策は上記の通り必要だと思います。

Comments

[R.Mizukami]

ironya さんの回答のとおり `UnicodeBlock.of(ch)` が null になるのが問題なら、 equals メソッドの呼び出しと引数を逆にして `CJK_UNIFIED_IDEOGRAPHS.equals(Character.UnicodeBlock.of(ch))` のようにすれば条件分岐で continue させる必要はなさそうですね。

[ironya]

NullPointerException の未然の策として一般的にその書き方の方が良いとされていますね。

[beyond_the_avg]

ありがとうございます。大変ためになりました。お恥ずかしながら先入観を持って問題点を見ていたため、UnicodeBlock.of(ch)がnullであるという極めて初歩的なことを見落としていました。なお、文字化けした文字はUnicode BlockではcodePointがSPECIALSになっていて、未定義ではありませんでした。しかし、UnicodeBlock.of(ch)はnullが返ってくるのでそのへんの疑問はまだ残っています。

[ironya]

手元の環境で \uFFF0~\uFFFF の文字で試してみましたけども、UnicodeBlock.of(char), UnicodeBlock.of(int) のどちらも UnicodeBlock.SPECIALS が返されました。
JREは以下の通り。ご参考まで。

MacOS 10.15
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)