Javaで文字コードの変換をしたい

Question

###前提・実現したいこと
今Javaで文字コードの扱いについて勉強しています。

###発生している問題・エラーメッセージ
一度UTF-8からShift_JISに変換したあともう一度UTF-8に戻す方法がわかりません
###ソースコード

String str = "あ";
// 文字化け
str = new String(str.getBytes("UTF-8"), "Shift-JIS");
System.out.println(str);
// ここで「あ」に戻したい

Answer 1

javaのStringはUTF-16形式で保存されています。示していただいたコードのstrはそもそもUTF-8でもShift_JISでもありません。ただの壊れたStringになるだけです。ソースコードがUTF-8であっても、"あ"と言ったリテラル文字列はコンパイル時にUTF-16に変換されます。

UTF-8やShift_JISを正しく扱うにはbyte[]ではなければなりません。Stringを介することで変換が可能です。下記コードを参考に、動作を確認して下さい。コードの処理の順番を逆にすれば、逆の変換になります。

import java.nio.charset.StandardCharsets;
import java.nio.charset.Charset;

class U8SJ {
  public static void main(String[] args) {
    // String str = "aあ①????";
    // byte[] u8bytes = str.getBytes(StandardCharsets.UTF_8);
    byte[] u8bytes = {
      (byte)0x61, // a
      (byte)0xE3, (byte)0x81, (byte)0x82, // あ
      (byte)0xE2, (byte)0x91, (byte)0xA0, // ①
      (byte)0xF0, (byte)0xA0, (byte)0xAE, (byte)0xB7 // ????
    };
    String str = new String(u8bytes, StandardCharsets.UTF_8);
    byte[] sjbytes = str.getBytes(Charset.forName("Shift_JIS"));
    byte[] wjbytes = str.getBytes(Charset.forName("Windows-31J"));
    System.out.print("String: ");
    System.out.println(str);

    System.out.print("String 内部実装 char[]:");
    for (char c: str.toCharArray()) {
      System.out.printf(" %04X", (int)c);
    }
    System.out.println();

    System.out.print("Unicode コードポイント:");
    for (int i = 0; i < str.length(); i++) {
      int point = str.codePointAt(i);
      System.out.printf(" U+%04X", point);
      if (point > Character.MAX_VALUE) {
        i++; // サロゲートペアの下位部分を飛ばす
      }
    }
    System.out.println();

    System.out.print("UTF-8 byte[]:");
    for (byte b: u8bytes) {
      System.out.printf(" %02X", b);
    }
    System.out.println();

    System.out.print("Shift_JIS byte[]:");
    for (byte b: sjbytes) {
      System.out.printf(" %02X", b);
    }
    System.out.println();

    System.out.print("Windows-31J byte[]:");
    for (byte b: wjbytes) {
      System.out.printf(" %02X", b);
    }
    System.out.println();
  }
}

Shift_JISと日本語版Windowsのデフォルト文字コードであるWindows-31J(別名MS932、CP932等)は別のエンコードです。"①"などの一部の記号(いわゆる機種依存文字と言われていた文字)について異なる動作になりますので注意して下さい。また、"????"(U+20BB7。土に口の「よし」。吉とは異なる漢字です。対応フォントが無い環境では文字化けします)はShift_JISにもWindows-31Jにも含まれないため、正しく変換されません。

なお、UTF-8で書かれた大きなファイルをShift_JISに変換すると言ったことをしたい場合、一度Stringに変換するのは大きくメモリを消費するため、上の方法は使えません。CharBufferを経由して、Charset.decodeしたのを逐一Charset.encodeで変換すると言ったことが必要になります。

Comments

[退会済みユーザー]

stringはutf-16なのですね。
回答ありがとうございます。

Answer 2

ちょっと混乱されているように見受けられます。
java.lang.Stringが保持している文字列に対して、文字コードを設定することはできません。
生成する際に指定されたバイト配列をどの文字コードで解釈するか？というのは可能ですが。

例：
UTF-8のバイト配列を取得したい場合。

str.getBytes(StandardCharsets.UTF_8.toString())

Shift_JISのバイト配列を取得したい場合。

str.getBytes("Shift_JIS")

Comments

[退会済みユーザー]

ええと、よくわからなくなってしまっているんですが、
例示したソースでは”あ”を意図的にUTF-8であるバイト列をShift-JISとして解釈するってことでいいんですよね。
その後、間違ってShift_JISとして解釈したバイト列をUTF-8に戻すにはどうしたらいいんでしょう？

[umed0025]

>例示したソースでは”あ”を意図的にUTF-8であるバイト列をShift-JISとして解釈するってことでいいんですよね。
はいその認識であってます。
"ISO8859-1"で解釈されたものであれば.getByets("ISO8859-1")で可能ですが、Shift_JISで解釈してしまった場合は無理だったような気がします。元のstrを取得したほうが早いかなぁ。

Answer 3

String convert = new String(str.getBytes("Shift-JIS") , "UTF-8");

で戻ります。

Comments

[退会済みユーザー]

それはやってみたんですが、「�?」になってしまいます

[helloray]

古い質問ですが、同じ問題で困ってる方がいるかもしれないので補足します。
Java純正のデコードを使う場合Shift-JISの変換がうまくいかないことがありました。
下記のサイトも参考にしてみてください。
https://weblabo.oscasierra.net/java-urlencode/
プロジェクトにapache commosを取り込む方法
https://qiita.com/komitake/items/375863848e2534d29a87