javaでエンコードがUTF-8かSJISかわからない文字列（行単位）をList<String>に入れたい

Question

aaa.txtというファイルの中に、UTF-8の文字列とSJISの文字列があります。
1行ずつ読み込んで、List<String>の配列に追加したいのですが、
一部、SJISの文字列の行があり、List<String>に文字化けして追加されてしまいます。
文字化けされずに、Listに追加する方法はありますでしょうか。
SJIS文字列をUTF-8文字列にしてListに追加されればよいです。

1行目：日本語文字1(UTF-8文字)
2行目：日本語文字2(UTF-8文字)
3行目：日本語文字3(SJIS文字)
4行目：日本語文字4(UTF-8文字)
5行目：日本語文字5(UTF-8文字)

List<String> list = new ArrayList<String>();

FileReader f = new FileReader("aaa.txt");
BufferedReader bu = new BufferedReader(f);

String str = bu.readLine();
System.out.println(str);
byte[] tmp = str.getBytes("SJIS");
System.out.println(Arrays.toString(tmp));
list.add(str);

InputStreamReaderで文字コードを指定して読み込んで、文字コード判定して、
正しい文字コードでlistに追加するのが良いのかと検討していますが、
いまいち、どのように実装すればよいかわかっていません。

InputStreamReaderで、SJISとUTF-8の両方で読み込んでおいて、
文字列判定して、正しい文字コードでlistに追加するような処理をイメージしています

Comments

[退会済みユーザー]

嫌がらせ以外の何でもないな
そんな文字コードが行毎に代わるなんて判別文字はいってないからほぼ不可能

[toroleaman]

そうなんですね。文字コードの先頭とかで判断できたりしないものなのですね。
SJISとUTF-8だけだったら、判別できるとかないですよね。
サクラエディタとかでも文字コードをご認識するくらいだから、判別文字はないのですね。。
nkfコマンドとかで、対象の文字列を判別できる方法はあるようですが、
javaのアプリで、nkfコマンド実行するのは、ちょっと現状の処理からかけ離れているし。
何か難しい気がしています。

Answer 1

文字化けされずに、Listに追加する方法はありますでしょうか。

確実な判定は不可能です。

たとえば、UTF-8で「あい」と書いたものをSJISで解釈すると、「縺ゅ＞」のように、「SJISとして矛盾しない」という意味で成立してしまいます。

ということで、元のデータが「UTF-8の『あい』」だったのか「SJISの『縺ゅ＞』」だったのか、後から切り分ける方法はありません。

Comments

[toroleaman]

なるほど。ありがとうございます。ほぼ、ベストアンサーかもしれないです。
変換できるSJISの文字列は、SJISにして、変換できないものは、UTF-8にするなど、
誤変換を許容してもらいどちらかの文字コードを優先とする方法がベストな気がしてきました。