バイナリデータをshift-jisでデコードしてから末尾のスペース削除したい

Question

前提・実現したいこと

バイナリデータをshift-jisでデコードしPrintすると'東京都 新宿区 神楽坂 '末尾に見た目のスペースが入るので削除して
文字列変数に格納したい

発生している問題・エラーメッセージ

\x04\x04\x04\x04が原因とは分かっているいるのですがどのように削除処理したらよいかわかりません。

できれば処理を書いて頂けると助かります。

該当のソースコード

bainary = b'\x93\x8c\x8b\x9e\x93s \x90V\x8fh\x8b\xe6 \x90_\x8ay\x8d\xe2\x04\x04\x04\x04'
sjis_str = sjis_str.decode('shift-jis')
print(type(sjis_str)) #<class 'str'>
print(str(sjis_str).strip()) #東京都 新宿区 神楽坂

試したこと

strip、replaceなどを試しました。

補足情報（ツールのバージョン）

Windows7
python3.6
pycharm2017.3.3

Answer 1

EOTを信じる

0x04はEOT(End of Transmission)だと思うので、そこまでで切り出してからデコードするのが良いかと。

b = b'\x93\x8c\x8b\x9e\x93s \x90V\x8fh\x8b\xe6 \x90_\x8ay\x8d\xe2\x04\x04\x04\x04'
s = b[:b.find(0x04)].decode('shift-jis')
print(s[-1])
#=> 坂

制御コードを全て除去

import re
b = b'\x93\x8c\x8b\x9e\x93s \x90V\x8fh\x8b\xe6 \x90_\x8ay\x8d\xe2\x04\x04\x04\x04'
s = b.decode('shift-jis')
s = re.sub('[\x00-\x1f\x7f]', '', s) #制御コード除去

Comments

[nobunagaoda]

ご解答頂き有難うございました。EOT(End of Text)有難うございました。
\x04\x04\x04\x04や\x05\x05\x05\x05など値が変わって予測できないのですがEOT(End of Text)と判断して削除するにはどのような処理にすると良いでしょうか？

[fuzzball]

まず、TextではなくTransmissionでした。回答は修正済です。

そのデータの仕様がどうなっているのか分かりませんが、EOTが来た時点で転送終了と考えるならば、それ以降のデータは捨ててしまっていいので、現在の私のコードで問題ないと思います。

[fuzzball]

デコード後に、制御コード(0x00~0x1f, 0x7f)を全て除去するコードを追記しました。

[nobunagaoda]

ご回答の返信を早く頂き有難うございます。
#制御コード除去本当に有難うございました。

Answer 2

s = s.rstrip('\u0004')で右端のみ除去、あるいはs.replace( '\u0004', '')で間も含めて除去できます。

b = b'\x93\x8c\x8b\x9e\x93s \x90V\x8fh\x8b\xe6 \x90_\x8ay\x8d\xe2\x04\x04\x04\x04'
s = b.decode('shift-jis')
s = s.rstrip('\u0004') # 右端のみ
#s = s.replace( '\u0004', '') # 間も
print(s)

また、.rstripの場合はs = s.rstrip'\u0001\u0002～'のように複数文字を指定し除去できます。

b = b'\x93\x8c\x8b\x9e\x93s \x90V\x8fh\x8b\xe6 \x90_\x8ay\x8d\xe2\x08\x07\x06\x05\x04\x03\x02\x01'
s = b.decode('shift-jis')
IGNORE = '\u0001\u0002\u0003\u0004\u0005\u0006\u0007\u0008' # 複数の文字を指定
s = s.rstrip(IGNORE) # 右端のみ
print(s)

Comments

[nobunagaoda]

ご解答頂き有難うございました。\x04\x04\x04\x04や\x05\x05\x05\x05など値が変わって予測できないのですががEOT(End of Text)と判断して削除するにはどのような処理にすると良いでしょうか？

[can110]

\x04と\x05の両方を除去したいということでよろしいでしょうか？
回答に追記しました。.rstripなら\x04と\x05など複数文字を指定してどちらも除去できます。

[nobunagaoda]

素早いご回答頂きまして有難うございました。
頂いたサンプルで自分の問題も解決できそうです。
本当に有難うございました。