socketでsendするときに引数の変換に失敗してしまいます。

Question

前提・実現したいこと

python3でsocketのsendの引数に、bytes型を指定したいのですが、変換に失敗します。

発生している問題・エラーメッセージ

'utf-8' codec can't decode byte 0x83 in position 1: invalid start byte

該当のソースコード

エラーが起きているソースコードを追記させていただきます。
以下のリンクのコードを参考にしています。
https://github.com/AllGloryToTheHypnotoad/Black-Hat-Python/blob/master/BHP-Code/Chapter2/bhnet.py
一つのファイルの実行時に指定されたオプションで、サーバ側とクライアント側の動作が変わる様になっています。
サーバとして動作させる場合は、python ./bhnet.py -l -p 9999 -c とオプションを指定し、
そのサーバに接続する際は、python ./bhnet.py -t localhost -p 9999 とオプションを指定して起動しています。

・encoding='utf-8'を追加し、再度更新しました

# coding:utf-8

# filename : bhnet.py

import sys
import socket
import getopt
import threading
import subprocess

import traceback

# global
listen = False
command = False
upload = ""
execute = ""
target = ""
upload_destination = ""
port = 0


# コマンドを実行し出力を返す
def run_command(command):
    command = command.rstrip()

    try:
        output = subprocess.check_output(
            command, stderr=subprocess.STDOUT, shell=True)
        output = output.decode(encoding="shift-jis")
        # output = output.decode(encoding="utf-8")  # 'utf-8' codec can't decode byte 0x83 in position 1: invalid start byte
    except Exception as e:
        output = str(e)
        output += "\r\n"
        output += "Failed to execute command.\r\n"

    return output


# クライアントが送ったデータを処理する
def client_handler(client_socket):
    global upload
    global execute
    global command

    # uploadが指定されたときの動作
    if len(upload_destination):
        file_buffer = ""

        while True:
            data = client_socket.recv(1024).decode(encoding='utf-8')

            if not data:
                break
            else:
                file_buffer += data

        try:
            file_descriptor = open(upload_destination, "wb")
            file_descriptor.write(file_buffer)
            file_descriptor.close()

            client_socket.send(
                b"Successfully saved file to %s\r\n" % upload_destination)
        except Exception:
            client_socket.send(
                b"Failed saved file to %s\r\n" % upload_destination)

    # コマンドの実行(execute)が指定されたときの動作
    if len(execute):
        output = run_command(execute)
        client_socket.send(output.encode(encoding='utf-8'))

    # commandが指定された場合はシェルとして動作する
    if command:
        while True:
            propmt = "<BHP:#> "
            client_socket.send(propmt.encode(encoding='utf-8'))

            cmd_buffer = ""
            while "\n" not in cmd_buffer:
                cmd_buffer += client_socket.recv(1024).decode(encoding='utf-8')
            response = run_command(cmd_buffer)

            client_socket.send(response.encode(encoding='utf-8'))


# 受信用の関数
def server_loop():
    global target
    global port

    # ターゲットの指定がなければすべてのアクセスを受け付ける
    if not len(target):
        target = "0.0.0.0"

    server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server.bind((target, port))

    server.listen(5)

    while True:
        client_socket, addr = server.accept()

        # クライアントの処理を行うスレッドの作成
        client_thread = threading.Thread(
            target=client_handler, args=(client_socket,))
        client_thread.start()


# クライアントとしてデータを送信する関数
def client_sender(buffer):

    client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

    try:
        client.connect((target, port))
        print("connected!")

        if len(buffer):
            client.send(buffer.encode(encoding='utf-8'))

        while True:
            recv_len = 1
            response = ""

            while recv_len:
                data = client.recv(4096).decode(encoding='utf-8')
                recv_len = len(data)
                response += data

                if recv_len < 4096:
                    break

            print(response)

            buffer = input("")
            buffer += "\n"

            client.send(buffer.encode(encoding='utf-8'))
    except Exception as e:
        print(e)
        print(traceback.format_exc())
        print("[*] Exception! Exiting.")
        client.close()


def main():
    global listen
    global port
    global execute
    global command
    global upload_destination
    global target

    if not len(sys.argv[1:]):
        sys.exit(0)

    try:
        opts, args = getopt.getopt(
            sys.argv[1:],
            "hle:t:p:cu",
            ["help", "listen", "execute=", "target=",
             "port=", "command", "upload="]
        )
    except getopt.GetoptError as err:
        print(str(err))
    for o, a in opts:
        if o in ("-l", "--listen"):
            listen = True
        elif o in ("-e", "--execute"):
            execute = a
        elif o in ("-c", "--commandshell"):
            command = True
        elif o in ("-u", "--upload"):
            upload_destination = a
        elif o in ("-t", "--target"):
            target = a
        elif o in ("-p", "--port"):
            port = int(a)
        else:
            assert False, "Unhandled Option"

    # クライアントとして動作
    if not listen and len(target) and port > 0:
        buffer = sys.stdin.read()
        client_sender(buffer)

    # サーバとして動作
    if listen:
        print("...")
        server_loop()


main()

試したこと

プログラムのコードすべてとTraceback全文を追記しました。
長くなってしまいますが、よろしくお願いいたします。

再度更新いたしました
重ねてお願いとなってしまいますが、よろしくお願いいたします。

補足情報（FW/ツールのバージョンなど）

Python 3.8.1

Comments

[can110]

どの部分で発生したか追えるように、エラーは全文(Traceback)を記載ください。
また、できればクライアント側の完全なコードも提示ください。

[t4gforce]

クライアント側とサーバ側のコードと、Tracebackをすべて追記しました。
引き続きよろしくお願いいいたします。

[bsdfan]

subprocess で実行しているコマンドの出力のエンコードはUTF-8なのでしょうか？
それがSJISなだけでは？

[t4gforce]

教えていただきありがとうございます。
コマンドの出力がshift-jisなだけのようですので、subprocess.check_output()の戻り値の文字コードによって処理を変更するようにしようと思います。

Answer 1

サーバ側のエラーについてですがcmd_buffer変数がbyte型なのにstr型を足しているため提示エラーが発生しています。
どのように修正すべきかはコードの意図が不明なので分かりませんが、型を統一しないといけません。

クライアント側のエラーは再現しませんでしたが、サーバとクライアントでのエンコーディングの違いが原因だと思われます。
コード上の.encode(), .decode()関数にてencoding='utf-8'と明示的にエンコーディングを指定すると解消すると思われます。

Comments

[t4gforce]

教えていただきありがとうございます。
サーバ側エラーはすべてstr型で統一することで動作しました。
他の箇所も.encode()/.decode()にencoding='utf-8'とすることで動作したのですが、
ソースコードの30行目だけencoding="shift-jis"としなければ、
'utf-8' codec can't decode byte 0x83 in position 1: invalid start byte
というエラーが出てしまいます。
重ねてお願いとなってしまいますが、ソースコードを更新しましたので、このエラーについて詳しく教えていただけないでしょうか。

[can110]

>ソースコードの30行目だけencoding="shift-jis"としなければ、
それで正常に動作するのであれば、そのままでよいです。
subprocess.check_output関数の戻り値の標準出力結果の文字列（実際はバイト列）の文字コードは
環境依存だったはずなので、その部分の.decode()は環境にあわせる必要があります。

[t4gforce]

詳しく教えていただきありがとうございました。
subprocess.check_output()の戻り値の文字コードによってdecode()の文字コード指定を変更するようにしようと思います。

Answer 2

encoding="shift-jis" ではどうでしょうか