全てのshift-jis、cp932の文字を取得したい

前提・実現したいこと

全てのshift-jisとcp932の文字を取得したい。

該当のソースコード

python
1import codecs
2dec=codecs.getdecoder('shift-jis')
3#dec=codecs.getdecoder('cp932') # cp932の場合はこちら
4for i in range(256):
5    try:
6        print(dec(bytes([i]))[0])
7    except:
8        pass
9
10for i in range(256):
11    for j in range(256):
12        try:
13            test=dec(bytes([i,j]))[0]
14            if len(test)==1:
15                print(test)
16        except:
17            pass

質問事項

shift-jis、cp932の文字全てを取得するにはどうすればいいか。
上記コードは問題ないでしょうか…

背景など

文字化けしないかのテストをするために、とりあえず全ての文字を調べようとしています。
UTF-8もした方が良いかもしれないけれど、多分大丈夫じゃないの？と信じたいです。
他の文字コードは、よくわかってません。

補足情報（FW/ツールのバージョンなど）

Windosw10
Python 3系

行動規範の内容に同意します

回答2件

ベストアンサー

shift-jis、cp932の文字全てを取得するにはどうすればいいか。

規格書を見るのが一番確実です。

上記コードは問題ないでしょうか…

このコードを走らせているPython処理系が認識している文字コードを確認するのであればこれで問題ありません。
このコードを走らせているPython処理系が正しいかどうかは別問題です。

文字化けしないかのテストをするために、とりあえず全ての文字を調べようとしています。

この処理では、以下のようにコードは割り当てられているけれども文字が割り当てられていないコードも出力されます。したがって、文字化けのテストに使うには問題があるかもしれません。

python
1>>> dec=codecs.getdecoder('cp932')
2>>> dec(bytes([0xf9, 0xf0]))
3('\ue74b', 2)

投稿2021/12/26 07:04

ppaul

総合スコア24666

xail2222

2021/12/26 07:21

情報ありがとうございます。やはり、これでは実行しているPythonの環境で使えるコードということでしかないのですね。＞コードは割り当てられているけれども文字が割り当てられていないコードそんなのがあるのですね。確かにlenとっても1となってますね。なんなのでしょう。これは… テストパターンとしては有っても問題はないかもしれないですがエラーとして検出されるかもしれないですね。

ppaul

2021/12/26 11:20

https://uic.jp/charset/show/cp932/ の文字コード表をご覧ください。あと、気を付けなければならないのは、0x5Cのような国別コードの問題ですね。

xail2222

2021/12/26 15:26

文字コード表ありがとうございます。 Excelにコピペかスクレイピングか、どちらにせよファイルに出力してpythonの方でも同じようなフォーマットで出力してdiffを取ればpythonの内容に問題ないか各文字コードで検証出来そうですね。やってみます。

xail2222

2021/12/26 23:29

比較した所、提示のHPの文字とpythonで作成した文字はほぼ同じでした。ただ、pythonで出力したcp932は二重に定義されているものが結構ありました。 EEEFとFA40がⅰとかなんにせよ、基本的にはプログラムで作成した内容で網羅できているであろうことが確認出来ました。ありがとうございました。

行動規範の内容に同意します

文字化けしないかのテストをするために、とりあえず全ての文字を調べようとしています。

やりたいことがいまいちよく分からないのですが、
文字化けのテストをするためのテストデータのファイルを作りたい、といことで良いでしょうか？

上記コードは問題ないでしょうか…

漢字として認識できないコード（NULL文字等）も含まれている為、ダメそうな気がします。

~~下記に Python で下記のようなサンプルがありました。文字一覧を取得したいのであれば、こちらが参考になるのでは、と思います。
~~
~~■ Unicodeの中のJIS X 0208に当たる文字を取得~~
~~https://nakamura001.hatenablog.com/entry/20110108/1294453032~~

~~といっても、~~
~~■ Shift-JIS / JIS X 0208 の文字コード / Unicode の文字コードが列挙されたファイル~~
~~http://unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/JIS/JIS0208.TXT~~
~~から、対象のコードをファイル出力しているようですけど。~~

~~Shift-JIS の文字の一覧を出力するように修正したサンプルはこちらになります。~~

＜追記＞
上記のサンプルでは CP932 の情報が取得できない為、回答内容を修正させて頂きます。

「Shift JIS」と「CP932」について改めて確認してみました。
Python における日本語の文字コード指定としては以下のコード指定が可能です。

・cp932
・shift_jis
・shift_jisx0213
・shift_jis_2004

詳しい説明は下記にありますが、大きな違いとしては機種依存文字が使えるか否か、ということのようです。

■ Python♪Windowsの「Shift JIS」の落とし穴
https://snowtree-injune.com/2020/05/15/codec-py003/

質問者さんが確認したい「Shift JIS」というのは機種依存文字が使える「CP932」のことではないでしょうか？
■ "shift_jis" と "cp932" の比較結果

質問者さんのコードを少しだけ修正してみました。
isprintable() を用いて、出力可能な文字のみを表示するようにしてみました。
こんな感じでいかがでしょうか？

python
1import codecs
2dec=codecs.getdecoder('cp932')
3for i in range(256):
4    try:
5        test=dec(bytes([i]))[0]
6        if len(test)==1 and test.isprintable():
7            print(test)
8    except:
9        pass
10
11for i in range(256):
12    for j in range(256):
13        try:
14            test=dec(bytes([i,j]))[0]
15            if len(test)==1 and test.isprintable():
16                print(test)
17        except:
18            pass
19

投稿2021/12/26 06:56

編集2021/12/26 08:38

cx20

総合スコア4633

xail2222

2021/12/26 09:13

＞漢字として認識できないコード（NULL文字等）も含まれている為、ダメそうな気がします。なるほど。。。1バイト文字の所ですね。 NullはNullとしてテストもいいかなと思っていたのですが… 確かに、文字データの途中にNullがあると、きちんとテストできないかもしれないですね。＞文字化けのテストをするためのテストデータのファイルを作りたい、といことで良いでしょうか？実際にはシェープファイルというファイルがテスト対象で、その文字データとして登録するテストデータを作りたいということになります。登録可能なデータの範囲が、まだ私にもわかっていないのでどうテストしようかという所で、shift-jis、cp932にあたってる全てをテストすればいいんじゃないかと思った所です。＞JIS0208.TXT ありがとうございます。参考になりました。 Pythonのshift-jisの二バイト文字と完全に一致しました。

xail2222

2021/12/26 09:50

追記の情報もありがとうございます。 isprintableのメソッド知りませんでした。通常考えて、isprintable=Trueのデータをテストデータにすればいい。というのは、確かにそうだと感じました。一応、shift-jisはshift-jisで、cp932はcp932でテストしたいと考えています。 shift-jisの方は「JIS0208.TXT」と完全にマッチした為、問題はないと思っているのですが「cp932」の方は、ppaulさんの言っていた「Python処理系が認識している文字コード」の範囲でしか取得できていないということで、十分網羅できているのか気になっています。

cx20

2021/12/26 15:26

> 実際にはシェープファイルというファイルがテスト対象シェープファイルは扱ったことがありませんが、下記のファイルのことでしょうか？ ■ 数値地図（国土基本情報）提供データセットの文字コードを変更します https://www.gsi.go.jp/kibanjoho/kibanjoho41038.html なんとなくググってみた感じだと、・従来 Shift JIS だったものが、昨今のトレンドの変化により UTF-8 化される傾向にある。・その中で過去データの Shift JIS 形式のファイルを読み込もうとした場合、文字化けが発生するケースがあるといった感じでのようですね。属性ファイルで使用される dbf（dBase）形式のファイルは既定だと OS の既定の文字コードが使用されるようです。その為、Windows の場合は既定の文字コードは「Shift JIS」ということなのでしょう。ここでいう「Shift JIS」は機種依存文字が使えない「JIS X0208-1997」ではなく機種依存文字が使える「CP932(Windows-31J)」であると考えるのが妥当ではないかと思います。 > 一応、shift-jisはshift-jisで、cp932はcp932でテストしたいと考えています。「shift-jis」のテストが無駄とは言わないですが、「cp932」が「shift-jis」の範囲をカバーしているようなので、「cp932」でテストしたら良さそうな気がします。また、いきなり全量でテストするのではなく、まずは以下サイトにあるような文字種のテストで使われている文字を試すのが良いのではないでしょうか。 ■ 文字種チェックでよく使っている文字 https://www.backyrd.net/entry/20161228/1482919415 ■ 文字集合の包含関係とテストに使うべき文字 https://miau.hatenablog.com/entry/20110919/1316427760

xail2222

2021/12/26 16:28 編集

その提示のシェープファイルで違いありません。今私が仕事で扱っているものはshift-jisがメインで、しかしcp932の事なのかもしれません。とりあえずテスト範囲はshift-jis,cp932,utf-8で十分かなと思っています。(utf-8は全文字検査まではしないつもりです。仕方も分からないからなのですが｡｡｡)他の文字コードは、未対応と制限事項としようと思いますテスト用のデータサンプルが記載された提示のurlのデータの内容をQGISというソフトで登録してみたのですが、登録出来ないものが多く(もちろんutf-8にすれば登録出来るのですが)、その為面倒になってプログラムで登録しようと思った所で、どうせやるなら全文字チェックするかと思いました。とは言うものの、全文字とは別に文字種チェックでよく使っている文字でも検査した方がよい気もしてきました。

行動規範の内容に同意します

あなたの回答