.Net System.Text.Encoding.GetStringメソッドで文字の途中で切った場合の動作

Question

以下のPowerShellスクリプトでEncoding.GetStringメソッドを使ってcp932文字列から16byte切り出しました。

$enc=[System.text.encoding]::default
$bytes=$enc.getbytes("一二三四五 六七八")
$enc.getstring($bytes, 0, 16)
# 17bytes返される

以下の文字列が17byte返されました。
一二三四五 六七・

渡したい文字列はさまざまで1byte文字と2byte文字が混在していることもあります。
最後の文字の途中で切ることもありますが、
最後の「八」が中黒になっているのが不可解です。

最後の文字を空文字に変換して15byte返してくれると一番助かるのですが、
いずれにせよ16byteは超えないようにしたいです。

環境
Powershell 5.0.10586.117
.Net Framework 4.7
Windows 7 Professional Service Pack 1 x86

よろしくお願いいたします。

Answer 1

Power Shell は全く知らないのですか、.NET のライブラリを使っているはずなので・・・

$bytes=$enc.getbytes("一二三四五 六七八") の '五' と '六' の間に半角空白が入っていることに気が付いているでしょうか？

日本語 OS でしょうから $enc=[System.text.encoding]::default は Shift_JIS になると思いますが、そうすると "一二三四五 六七八" は 17 バイトになります。（全角漢数字 '一' ～ '八' はそれぞれ 2 バイトずつで 2 x 8 = 16 バイト、半角空白 ' ' は 1 バイト、16 + 1 =17 バイトです）

なので、$enc.getstring($bytes, 0, 16) が "一二三四五 六七・" になるのは当然の結果（'八' は 2 バイトなのに 1 バイトしか出力されないので文字化け）だと思いますが。

一体何がしたいのでしょう？

【追記】

質問を読み直して ↓ こういうことではないかと思ったのですが？（大前提として、ホントに Shift_JIS を考えればよいのかという疑問がありますが、そこはちょっと置いといて・・・）

(1) Shift_JIS コードのバイト列がある。内容と長さは不定。Shift_JIS として不正なコードは入ってない。

(2) そのバイト列から最大 16 バイトを文字列に変換して出力したい。

(3) ただし、上記 (1) のバイト列が 16 バイトを超える場合で、かつ最後の 16 バイト目が Shift_JIS の 2 バイト文字（いわゆる全角文字）の第 1 バイトの場合は、バイト列の 15 バイトまでを文字列に変換して出力したい。

上記の理解が違う場合はどこがどう違うか指摘してください。

理解が合っていれば、PowerShell で書けるのかどうかわかりませんが、(3) ができるようなコードを書くということになります。

具体的には、2 バイト文字の第 1 バイトは 16 進数で 80 以上なので、(1) のバイト列を先頭からスキャンして行って、16 バイト目が 1 バイト文字（いわゆる半角）か 2 バイト文字の第 1 バイトなのかを調べて処置するということになります。

なお、16 バイト目だけ見たのではダメです。必ずバイト列の先頭からスキャンして調べていく必要があります。また、Shift_JIS として不正なコードは入ってないことが条件になります。

Comments

[退会済みユーザー]

ありがとうございます。
質問の内容は追記の通りです。
ちなみにcp932が（おおむね）Shift_JISのことです。

[退会済みユーザー]

> 質問の内容は追記の通りです。

「追記」とはどこの部分でしょう？　質問は最初の投稿から変わってないように見えます。

[退会済みユーザー]

あ、分かりました、「追記」とは質問者さんの追記ではなく、私が私の回答欄に書いた追記のことですね？

[退会済みユーザー]

そうです。すみません……

[退会済みユーザー]

質問者さんのケースに限れば以下のようにしてできるはずです。

$enc=[System.text.encoding]::default
$bytes=$enc.getbytes("一二三四五 六七八")
if($bytes[15] -gt 0x80){$index=15}else{$index=16}
$enc.getstring($bytes, 0, $index)

Answer 2

要は、MS932で16バイト以内に収まるように文字を切り出したいのですよね？
PowerShellでどうやるのかはわかりませんが、C#ならばこんな感じでしょうか。

[TestMethod]
public void TestHoge() {
	var encoding = Encoding.GetEncoding("Shift_JIS");
	var encoder = encoding.GetEncoder();
	var buff = new byte[16];
	int charsUsed, bytesUsed;
	bool completed;

	var target = "一二三四五 六七八".ToCharArray();
	encoder.Convert(target, 0, target.Length, buff, 0, buff.Length,
			true, out charsUsed, out bytesUsed, out completed);

	Assert.AreEqual(15, bytesUsed);
	var result = encoding.GetString(buff, 0, bytesUsed);
	Assert.AreEqual("一二三四五 六七", result);
}

Comments

[退会済みユーザー]

Shift_JIS のバイト列の 16 バイト目が 1 バイト文字（いわゆる半角）か 2 バイト文字（いわゆる全角）の第 1 バイトなのかを調べて処置するということになると思いますが、それを上のコードで配慮されているでしょうか？

[退会済みユーザー]

上記コードは正しく動作しますよ。
マルチバイトの扱いがこの質問のキモなので配慮されているのは当然です。
Assert.AreEqual(15, bytesUsed);
って書いてあると思いますが？
Shift_JISの1バイト目かどうかなんて判定は自分でやらないってだけです。

[退会済みユーザー]

返答をありがとうございます。

Encoder.Convert メソッドは文字単位でバイト列にバッファするというこということですね。

[退会済みユーザー]

ありがとうございます。
PowerShellだとこんな感じでできました。

$encoding = [System.Text.Encoding]::GetEncoding("Shift_JIS");
$encoder = $encoding.GetEncoder();
[byte[]]$buff = @(0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0)
[int]$charsUsed = 0
[int]$bytesUsed = 0
[bool]$completed = $FALSE
$target = "一二三四五 六七八".ToCharArray();
$encoder.Convert($target, 0, $target.Length, $buff, 0, $buff.Length, $TRUE, [ref]$charsUsed, [ref]$bytesUsed, [ref]$completed);
$encoding.GetString($buff, 0, $bytesUsed);

[退会済みユーザー]

PowerShell化できてよかったです。というか、PowerShellって便利ですねぇ。
今さらながら補足ですが、

1. 抽象的(Encoding、Encoder)で解決できるならば、具象的(MS932のバイト列)にプログラムを書かない
2. DRY：あるもの(Encoder.Convert)を再開発しない。

が肝要ではないかと思います。これらを守らなくても、問題は解決できますし、そうせざるを得ない場合もあるかとは思います。ただ、具象的プログラムの乱用はコピペ文化につながっていく例が多いように思います。抽象的な解決方法は、言語を超えて応用が利くのではないかと思います。たとえば、Javaのエンコーディングの構造もエンコーダとデコーダの組み合わせでできていて、同じように、有限のバッファに対してのバイト列への変換などの仕組みがあったりします。