常連

### ■不明点
Javaで、16進数文字列を、文字列として取得するプログラムを作成しています。

この際、16進数文字列を「ASCII」で読んで文字列化する旨、指定などはしていないのですが、以下プログラムにおいては、ASCIIで文字列化が掛かっています(実際問題として本件はそれでよい話ではあるのですが、、解釈ができずモヤモヤな次第です)。

なぜ指定無くとも、(UTF-8などではなく、)「ASCII」で文字列化されるのでしょうか？
環境依存等で、気づいていないだけでどこかで設定がされているのでしょうか？(…当たれるところ見たのですが、それらしきに至らず。)

以上、何卒よろしくお願いいたします。

### ■関連情報
●Java バージョン ：8.251
●Eclipseバージョン:4.12(Eclipse上のエンコード設定諸々は、すべてutf-8です)
●参考にしたサイト：https://www.codeflow.site/ja/article/java-convert-hex-to-ascii

### ■プログラム
※文字列：「あいうえお」⇔16進数:「3042304430463048304a」と、ASCII変換で紐づいています。
```java
public class test1 {
  public static void main(String[] args) {
    //ASCIIから16進数
    String asciiStr="あいうえお";
    char[]chars = asciiStr.toCharArray();
    StringBuilder hex = new StringBuilder();
    for (char ch : chars) {
        hex.append(Integer.toHexString((int) ch));
    }
    //①
    System.out.println(hex.toString());

    //16進数からASCII形式
    String hexStr="3042304430463048304a";
    StringBuilder output = new StringBuilder("");
    for (int i = 0; i < hexStr.length(); i += 4) {
        String str = hexStr.substring(i, i + 4);
        output.append((char) Integer.parseInt(str, 16));
    }
　　//②
    System.out.println(output.toString());
  }
}

```
```結果
//①
3042304430463048304a
//②
あいうえお
```

Javaでの16進数⇔文字列変換において、指定ないのに、なぜASCIIで出るのか?(環境依存?)

[この対応表](http://digital.ni.com/public.nsf/allkb/D831B5F2D5CA212E86257A21002055E6)のように16進数の数値をASCII文字へ変換するにはどうすればいいですか？

例えば、`(0x)30 `という数値なら、`0`と表示したいです。

参考になるサイトなどを教えてください。

16進数の数値をASCII文字に変換したい

プログラムの直接的な質問ではありませんが、ご容赦ください。

ASCIIにおけるユニット分離文字とは何なのでしょうか？他人に説明する時、何と説明すればよいのでしょうか。

フィールドを区切る制御文字であるとは何となく分かりましたが、具体的に何なのか、フィールドが何を示すのか、、、等々しっくり来ません。

何かご説明をできる有識者の方いらっしゃればご教示よろしくお願いいたします。


ASCIIにおけるユニット分離文字とは？

ほぼ解決しているかもしれないのですが確認したいです。

Arduinoでascii文字をHEXにしないといけない為、テストしてみたのですが、出力としてはHEXに該当する文字以外は全て0で出力されることは確認できました。
ただ、下記ソースで何か抜けが無いか、や、他にこうした方が良い等修正点があれば伺いたいです。
よろしくお願いいたします。

```ここに言語を入力
void loop() {
  // put your main code here, to run repeatedly:
  int arrByte;
  int incomingByte;
  int hex;

  arrByte = Serial.available();
  if (0 < arrByte) {
    for (int i = 0; i <= arrByte; i++) {
      incomingByte  = Serial.read(); // 1バイトずつ受信データを読み込む
      Serial.print(incomingByte, HEX);
      Serial.println("get");
      hex = Asc2Hex(incomingByte);
      Serial.print(hex, HEX);
      Serial.println("get");
    }
  }
}
```
```ここに言語を入力
//アスキーを16進数
int8_t Asc2Hex(int8_t asc)
{
  int8_t hex = 0;
  if (('0' <= asc) && (asc <= '9')){
    hex = asc - '0';
  }
  else if (('a' <= asc) && (asc <= 'f')){
    hex = asc - 'a' + 10;
  }
  else if (('A' <= asc) && (asc <= 'F')){
    hex = asc - 'A' + 10;
  }
  return hex;
}
```

Arduinoでascii文字をHEX(16進数)にする方法について

### 前提・実現したいこと

Railsでモデルを作成しています｡
モデルを保存しようとした際､以下のエラーメッセージが発生しました｡

エラーを解消して､DBに保存できるようにしたいです｡

### 発生している問題・エラーメッセージ

```
Encoding::CompatibilityError: incompatible character encodings: UTF-8 and ASCII-8BIT
```

### 該当のソースコード

一部､名前を書き換えています｡
```Model
class Model_A < ApplicationRecord
  # 論理削除使用
  acts_as_paranoid

  # 暗号化カラムの定義
  attr_encrypted_options.merge!(algorithm: "aes-128-ecb", encode: false, insecure_mode: true, iv: "", key: :generate_key)
  attr_encrypted :mail_address
  attr_encrypted :contact_name

  # リレーション
  belongs_to :company_A, optional: true

  # バリデーション

  validates :company_A_id,
    presence: true

  validates :name,
    presence: true,
    length: { maximum: 100 }

  validates :postal_code,
    length: { is: 8 },
    format: { with: /\A[0-9\-]+\z/ },
    reduce: true

  validates :address,
    presence: true,
    length: { maximum: 500 }

  validates :phone_number,
    presence: true,
    length: { maximum: 13 },
    format: { with: /\A[0-9\-]+\z/ },
    reduce: true

  validates :fax_number,
    length: { maximum: 13 },
    format: { allow_blank: true, with: /\A[0-9\-]+\z/ },
    reduce: true

  validates :mail_address,
    length: { maximum: 200 },
    email: { allow_blank: true },
    reduce: true

  validates :contact_name,
    presence: true,
    length: { maximum: 100 }

  validates :note,
    length: { maximum: 2000 }

  validates :display_order,
    presence: true,
    numericality: {
      only_integer: true,
      greater_than_or_equal_to: 1
    },
    reduce: true

  validates :old_flg,
    presence: true


  def generate_key
    key = crypt_key
    final_key = "\0" * 16
    key.length.times do |i|
      final_key[i % 16] = (final_key[i % 16].ord ^ key[i].ord).chr
    end
    final_key
  end

end
```

```schema
 create_table "table_A", id: :integer, unsigned: true, options: "ENGINE=InnoDB DEFAULT CHARSET=utf8", force: :cascade do |t|
    t.integer "company_A_id", null: false, unsigned: true
    t.string "name", limit: 100, null: false
    t.string "postal_code", limit: 8
    t.string "address", limit: 500, null: false
    t.string "phone_number", limit: 13, null: false
    t.string "fax_number", limit: 13
    t.string "encrypted_mail_address", limit: 200
    t.string "encrypted_contact_name", limit: 100, null: false
    t.string "note", limit: 2000
    t.integer "display_order", null: false, unsigned: true
    t.integer "old_flg", limit: 1, default: 0, null: false, unsigned: true
    t.integer "updater_id", unsigned: true
    t.datetime "created_at", null: false
    t.datetime "updated_at"
    t.datetime "deleted_at"
  end
```


### 試したこと
コンソールで下記を行った所､タイトルのエラーが発生しました｡
```
a = VehicleDealer.new(company_A_id: 1, name: "会社A", postal_code: "123-4567", address: "東京都新宿区西新宿２丁目８−１", phone_number: "090-1234-5678", contact_name: "担当者 ", display_order: 1)

a.save!
```

文字コードを調べました｡
```
[23] pry(main)> a.name.encoding
=> #<Encoding:UTF-8>
[24] pry(main)> a.postal_code.encoding
=> #<Encoding:UTF-8>
[25] pry(main)> a.address.encoding
=> #<Encoding:UTF-8>
[26] pry(main)> a.phone_number.encoding
=> #<Encoding:UTF-8>
[27] pry(main)> a.encrypted_contact_name.encoding
=> #<Encoding:ASCII-8BIT>
[28] pry(main)> a.contact_name.encoding
=> #<Encoding:UTF-8>
```

a.encrypted_contact_nameだけ､ASCII-8BITになっていたため
UTF-8に揃えるように文字コードを変更してみました｡
```
[35] pry(main)> a.encrypted_contact_name.force_encoding('UTF-8')
=> ";\xA9\xF7\xAF\u00166\xC9怬\xAA\x872N\xBBH"
[36] pry(main)> a.encrypted_contact_name.encoding
=> #<Encoding:UTF-8>
```

すると､下記のようなエラーが発生しました｡
```
Mysql2::Error: Incorrect string value: '\xA9\xF7\xAF\u00166\xC9...' for column 'encrypted_contact_name' at row 1
```

### 補足情報（FW/ツールのバージョンなど）

暗号化は下記記事の通りにやっています｡
[MySQLのAES\_ENCRYPT／AES\_DECRYPT互換の方式でActiveRecordの属性を透過的に暗号化／復号する \- Qiita](https://qiita.com/shoutakenaka/items/aa05be54b93d057e8ceb)

Encoding::CompatibilityError: incompatible character encodings: UTF-8 and ASCII-8BIT

Excelシートから日本語文字を読み取りたいと思っています。
openpyxlを使って、読み出しに成功したものの
sheets.cell(row=i, 1).value　→ Nameから読み込んだ日本語を正しく
表示させる方法をご教示頂けないでしょうか？
JSONには、日本語が出力されるようにしたいです。
パターン１・・・ensure_ascii=True →ユニコードが表示される
パターン２・・・ensure_ascii=false　→文字化けする

【パターン１】
```python
dest10 = dict()
book = openpyxl.load_workbook('C:\temp\abc.xls)
sheets = sheet1
path_w = 'out'


for i in range(100):
    Name = sheets.cell(row=i, 1).value

    dest10 = {
        "Name " : Name 
    }

with open(path_w, mode='a') as f:
    json_str = json.dumps(dest11, sort_keys=False, ensure_ascii=True, indent=4)
    f.write(json_str + '\n') 
```

```json
    {
        "Name " : \u4fdd\u8b77\・・・
    }
```
【パターン２】
```python
dest10 = dict()
book = openpyxl.load_workbook('C:\temp\abc.xls)
sheets = sheet1
path_w = 'out'


for i in range(100):
    Name = sheets.cell(row=i, 1).value

    dest10 = {
        "Name " : Name 
    }

with open(path_w, mode='a') as f:
    json_str = json.dumps(dest11, sort_keys=False, ensure_ascii=false, indent=4)
    f.write(json_str + '\n') 
```

```json
    {
        "Name " : �ی�M
    }
```

★Nameをprintすると日本語がちゃんと代入されていることが
　確認できます。ファイルに出力すると上記結果となります。

★with open(path_w, mode='a',encoding='Shift_JIS') as f:としても
文字化けが解消しません

excelから日本語文字列をpythonを使って読み出したい

excelのVBAで、以下のコードでexcelの内容をcsvに出力しています。

```
Set fso = CreateObject("Scripting.FileSystemObject")
Set ffile = fso.CreateTextFile(myPath & "\" & txtName, True)
'省略
'excelの内容（日本語あり）をcsv形式にした文字列 myTmp
ffile.WriteLine myTmp
ffile.Close
```

ここで、ファイルの種類（コード）は、３個目の引数で指定しますが、今回は省略しているので、
ASCII ファイルとなると思います。
```ここに言語を入力
３個目の引数の説明
省略可能。 Unicode ファイルを作成するか、ASCII ファイルを作成するかを
示す Boolean 値です。 Unicode ファイルとして作成する場合は True 、
ASCII ファイルとして作成する場合は False です。 
省略した場合は、ASCII ファイルとみなされます。
```

ここで質問なのですが、
1. このコードで作成したcsvファイルの文字コードは何になりますか？ エディタで確認したらshift-jisでしたが、ASCIIコード(英数字だけ)になるんではないんですか？日本語も含まれるので矛盾はあります。
2. ASCIIファイル＝ASCIIコード(英数字だけ)ではないんですか？ここで言うASCIIファイルは何を指していますか？

CreateTextFileの文字コード

##質問

linuxが文字を理解する時の流れの仮説は正しいか？

**【linuxが文字を理解する時の流れの仮説】**（$LANGにutf-8が設定されている場合）

**１．**読み取ろうとするファイルの中身（バイナリデータ）を、環境変数$LANGに設定されている文字コード対応表と照らし合わせて文字変換する。

**２、**対応表には主な文字コードデータのBOM情報が含まれており、もしBOMが記載されていた場合はその文字コードで変換をし直す。（「Shift_JIS」という文字をutf-8で読み取ったときのデータは「432432(適当)」となるのでもし「432432」という文字がファイルの最初の方に書かれていたらShift_JIS対応表で変換し直す）

--BOMが記述されていた場合はここで終わり--

**3、**linuxにはある程度文字化けしているかを確認できる機能がついていて、読み取ったデータにBOMがなく更にutf8で変換してみたものの文字化けしていると判断された場合には他の文字コードでいくつか変換してみる。

**4、**変換した結果文字化けが最も無いと判断された文字コードでそのファイルを表示する。






##背景

私はqiitaの記事を読み、また自らの実験結果や経験とともにlinuxが文字を理解するときの流れについて一つの仮説を立てました。

qiita：[テキストファイルの文字コードは中身で決まる。らしい。
](https://qiita.com/chooyan_eng/items/c245a89768200491148a)