csファイル（エクセルで作ったもの）にutf8-4byte文字（例えば、 ???? ）を表示させる方法を教えて下さい。

Question

表題のとおりです。

私のエクセル（エクセル2016）では、??となってしまします。
utf8-4byte文字はそもそも、sjis系の文字コードで取り扱うことは可能でしょうか？
扱えるなら、それを表示させる方法をご教示ください。

Answer 1

すでにShift-JISで保存されたCSVファイルであればだめですが
今後Excel2016でCSV作成する場合、UTF-8で保存できるそうです。
参考：ExcelファイルをUTF-8のCSV形式で保存する方法（Excel 2016最新機能）

またUTF-8BOM付で保存されたCSVファイルであれば、Excel2010でも「????」は表示されました。
（BOMなしだと文字化けする）

追記

• 文字「????」をShift_JIS-2004エンコードしてファイル保存
• 文字「????」を含むShift_JIS-2004エンコードされたテキストファイルを読込み「????」を表示

であれば、Python(jupyter-notebook)上でできます。

enc = 'sjis_2004'

# Unicode       ： U+2000B
# UTF-8         ： F0 A0 80 8B
# JIS X0213:2004 : 87 A0
print('????')
print('????'.encode(enc))  # b'\x87\xa0'

path = enc + '.txt'
# 「Shift_JIS-2004」でエンコードしてファイル出力
with open( path, 'w', encoding=enc) as f:
    f.write('????')

# バイナリとして開き、正しくエンコードされていることを確認
with open( path, 'rb') as f:
    print( f.read()) # b'\x87\xa0'

# 「Shift_JIS-2004」でエンコードされたファイルを読込、正しく表示できることを確認
with open( path, 'r', encoding=enc) as f:
    print( f.read()) # ????

なおShift_JIS-2004に対応したテキストエディタを探してみましたが、見つかりませんでした。
Shift_JIS-2004に対応しているソフト、システムは少ないようですので、UNICODE(UTF-8)で扱うように運用を見直した方がよいかと思います。
参考：日立ミドルウェアの JIS X0213:2004 対応について－ WindowsにおけるJIS X0213:2004対応 －

Comments

[siosenbei]

ご回答、ありがとうございます。

そのcsvファイルを取り扱うシステムは、csvの文字コードをsjis-win(cp932)と定義ているため、
utf8-4byte文字がsjis-win(cp932)でのみ保存可能な場合は、考慮する必要がないのです。

下記によると、Shift_JIS-2004でコードの割当がされているので、
扱えるソフトウェアがあるのでは、と思っております。

https://ah-2.com/2015/09/18/sjis2004_utf8_4byte_chars.html

もし、utf8-4byteに相当する文字がシステムに入った場合、
DB（Mysql）登録（InsertやUpdate）時にそれ以降の文字が消えてしまう問題が発生します。
それを防ぐため、
utf8-4byteをcsvとしてファイルに保存できる方法を探しております。

[can110]

あげられている「システム」含め、背景、状況が良く分かりません。
ようするに
> utf8-4byteをcsvとしてファイルに保存できる方法を探しております。
すなわち、文字「????」を「Shift_JIS-2004」エンコードしてファイル保存したい？
あるいは
文字「????」を含む「Shift_JIS-2004」エンコードされたファイルを読込み、「????」として表示したい。

という要求（そういうソフトウェアなりシステムはないか？）でしょうか？

Answer 2

ShiftJISコードセットにはその文字は無いようなので、それで取り扱うのは無理でしょうね

＃丈ならあるんだけど

Comments

[siosenbei]

ご回答、ありがとうございます。
下記によると、Shift_JIS-2004でコードの割当がされているので、
扱えるソフトウェアがあるのでは、と思っております。

https://ah-2.com/2015/09/18/sjis2004_utf8_4byte_chars.html

[y_waiwai]

UnicodeとJISでは一対一の対応は取れません。
まあ、数字とかアルファベットはどちらも順番に並んでいるので、機械的な変換はできるんですが、漢字の場合はバラバラです（一文字づつの変換テーブルが必要）、なので、後付けでJISに追加されたといっても、それが使えるとは限りません。（もちろんOSのメーカがそれに対応すれば使えますが）

すくなくとも、Windows10Homeでは（今の段階では）JISにしても表示できていませんねー

[y_waiwai]

ああ、そのCSVファイルを取り扱うシステム、というのがその追加されたJISコードを表示できる（取り扱うことができる）というなら、その追加された文字コードだけでも、自前で変換してしまう、というテもありかとおもいます。
が、Windows機では表示できないのでそこらへんをどうするかですねー
表示アプリを自前で用意するなら、これまたUnicodeへの変換を自前で用意すればいけるでしょうけどね

Answer 3

csvファイルであれば、Excelではなく一旦、文字コード変更可能なテキストエディタ(秀丸など)で開いて、文字コードUTF-8形式(BOMあり)で保存しなおされたらどうでしょうか。
BOMが付いているcsvファイルであれば、ExcelもUTF-8形式として読み込んでくれるので文字化けは解消します。

Comments

[siosenbei]

ご回答、ありがとうございます。

そのcsvファイルを取り扱うシステムは、csvの文字コードをsjis-win(cp932)と定義ているため、
utf8-4byte文字がsjis-win(cp932)でのみ保存可能な場合は、考慮する必要がないのです。

下記によると、Shift_JIS-2004でコードの割当がされているので、
扱えるソフトウェアがあるのでは、と思っております。

https://ah-2.com/2015/09/18/sjis2004_utf8_4byte_chars.html

もし、utf8-4byteに相当する文字がシステムに入った場合、
DB（Mysql）登録（InsertやUpdate）時にそれ以降の文字が消えてしまう問題が発生します。
それを防ぐため、
utf8-4byteをcsvとしてファイルに保存できる方法を探しております。