文字コード UnicodeDecodeError: 'cp932' codec can't decode byte 0x83 illegal multibyte seq

Question

#実行環境　LINUX　CENTOS7

お世話になります。linux環境で文字コードエラーが解けず困っています。初学な質問となり申し訳ありませんがよろしくお願いいたします。

#やりたいこと　all_textに中身を全て格納したい

まずwin環境では正常に動くコードになっております。しかしlinux環境ですと何度試しても以下エラーになってしまいます。

#エラー内容

all_text = all_text + n.decode("cp932")
UnicodeDecodeError: 'cp932' codec can't decode byte 0x83 in position 33: illegal multibyte sequence

なお以下pの中にはhoge.txtのように.txtの内容が入ります。

#ためしたコード

        cmd = "python3 ./hoge.py gs://bucket/"
        p = subprocess.Popen(cmd.split(), stderr=subprocess.PIPE, stdout=subprocess.PIPE)
        stdout = p.communicate()
        all_text = ""
        for n in stdout:
            # print("hoge　",n.decode("cp932"))
            all_text = all_text + n.decode("cp932")

大変稚拙な質問となりお手数をおかけいたしますがよろしくお願いいたします。

Answer 1

subprocess.Popenで実行したプロセスが出力したデータがWindows環境ではcp932であるのに対し、Linux環境ではUTF-8になることが原因だと思います。その場合、n.decode("cp932")をn.decode('UTF-8')に変える必要があります。

どちらでも動くようにしたいのであれば

import locele

をソースの冒頭でして、n.decode(locale.getpreferredencoding())と書いてください。

Comments

[退会済みユーザー]

うわすごい。すぐ試します。またご連絡させて頂きます。ありがとうございます

[退会済みユーザー]

いつもありがとうございます。できました。linuxとwinでコマンドの打ち方や今回のケースなどで違う時はどのように設定されてますか？私は以下コードなのですがかなり不安を覚えておりぜひ教えて頂きたいです。
if os.name == 'nt':
else:

[nomuken]

そういったケースのノウハウは持ってません。

今回のケースは子プロセスが出力する文字列のエンコードは何かという問題でそれ自体はPythonとはあまり関係ありません。Windowsの場合はコードページに従いますし、Linuxの場合は変数LANGに従います。

この違いをいちいち実装していては面倒です。ただ、Pythonの場合はlocaleパッケージがそれを解決する機能を持っているとわかったのでそれを使った実装を提案しました。

[nomuken]

調べたところPython実行プログラムのパスを取得する方法があります。
それを実行プログラムパスとして使えばこれについてはWindowsとLinuxの違いを気にしなくてよくなるのではないかと思います。

import sys
print(sys.executable)

[退会済みユーザー]

ありがとうございます。