ソケット通信でrecvしたデータをdecodeうまくできません。

Question

前提・実現したいこと

TCPIPによりc言語のプログラム(Client側)からPython 2.7のプログラム(Server側)へデータを渡したい。※c言語のプログラムはYOLOv3を実装しているプログラムの一部で,下のコードはdarknet上のsrc/image.cというプログラムの中で、検出した物体のピクセル位置を出力する関数です。Pythonはただの自作のスクリプトで、ROS上で動かすものです。

ここに質問の内容を詳しく書いてください。
サーバ側で受け取ったデータをきちんと変換できず、

return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0x9a in position 4: invalid start byte

というエラーが帰ってきます。

発生している問題・エラーメッセージ

return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0x9a in position 4: invalid start byte

該当のソースコード

#!/usr/bin/env python
# coding: UTF-8
import rospy
from std_msgs.msg import String
import socket
import datetime
def talker():
	pub = rospy.Publisher('chatter', String, queue_size=10)
	rospy.init_node('talker', anonymous=True)
	PORT  = 50000
	BUFSIZE = 4096
	server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
	server.bind(("", PORT))
	server.listen(1)
	while not rospy.is_shutdown():
		client, addr = server.accept()
		msg = str(datetime.datetime.now())
		client.sendall(msg.encode("UTF-8"))
		print(msg, "Oh, you got message!!!")
		data = client.recv(BUFSIZE)
		print(data.decode("UTF-8"))
		client.close
		hello_str = "hello world %s" % rospy.get_time()
		pub.publish(hello_str)

if __name__ == '__main__':
    try:
        talker()
    except rospy.ROSInterruptException:
        pass

void draw_detections(image im, detection *dets, int num, float thresh, char **names, image **alphabet, int classes)
{
    int i,j;

    for(i = 0; i < num; ++i){
        char labelstr[4096] = {0};
        int class = -1;
        for(j = 0; j < classes; ++j){
            if (dets[i].prob[j] > thresh){
                if (class < 0) {
                    strcat(labelstr, names[j]);
                    class = j;
                } else {
                    strcat(labelstr, ", ");
                    strcat(labelstr, names[j]);
                }
                printf("%s: %.0f%%\n", names[j], dets[i].prob[j]*100);
		printf("  -> (x, y, w, h)\n");
		
		printf(" = (%d, %d, %d, %d)\n",
			(int)(dets[i].bbox.x*im.w),
			(int)(dets[i].bbox.y*im.h),
			(int)(dets[i].bbox.w*im.w),
			(int)(dets[i].bbox.h*im.h));
		printf("初期化はOK\n");
		int detection_coordinates[3];
		
		detection_coordinates[0] = (int)(dets[i].bbox.x*im.w);
		detection_coordinates[1] = (int)(dets[i].bbox.y*im.h);
		detection_coordinates[2] = (int)(dets[i].bbox.w*im.w);
		detection_coordinates[3] = (int)(dets[i].bbox.h*im.h);
		printf("代入はOK\n");

		char x[256];
		sprintf(x, "%d", detection_coordinates[0]);
		printf(x);
		char server_response[256] = "you reached to the server";
		//tcpip
			int network_socket;
			//socket()
			//specifies to use TCP
			network_socket = socket(AF_INET, SOCK_STREAM, 0);	
			if(network_socket < 0){
				printf("ERROR opening socket dude.");
			}
			struct sockaddr_in server_address;
			server_address.sin_family = AF_INET;
			server_address.sin_port = htons(50000);
			server_address.sin_addr.s_addr = INADDR_ANY;
			
			//connect()
			int connection_status = connect(network_socket, (struct sockaddr *) &server_address, sizeof(server_address));
			if(connection_status == -1){
				printf("connect() error\n");
				sleep(1);
			}
			else {
			//send()
			//char server_response[256];
			send(network_socket, &x, sizeof(x), 0);
			//colse()
			close(network_socket);
			sleep(1);
			}
		//		
            }
        }

試したこと

Python（サーバ側）で、print(data.decode("UTF-8"))のdecodeをCP932、shift-jisでも試してみましたが同じ結果でした。"UTF-16"でやるとエラーは出ませ得んが、文字化けで何がprintfで出力されているのか全くわかりません。

補足情報（FW/ツールのバージョンなど）

Ubuntu18.04で動かしています。
ここにより詳細な情報を記載してください。

Answer 1

二つ、重要な知識が欠けている気がします。

ひとつめ。
char x[256];
sprintf(x, "%d", detection_coordinates[0]);
send(network_socket, &x, sizeof(x), 0);
では、xという名前で256バイトの領域を確保し、sprintfでその先頭から数値を文字列に変換して格納し(Cの文字列なので'\0'終端)、xの領域256バイトを全部送信します。データが充填されていようといまいと。
また、Cでは、ローカル(のauto)変数は、生成された段階で初期化されず不定(プログラムを実行してみるまで値が確定されない)です。つまり、整数データはたかだか11桁かそこいらですから、最大11byteの数字と1byteの'\0'と、実行毎になにが入るかわからない243byte(+α)のデータが送信されます。

もうひとつ。
ストリームソケット(TCP/IP)での通信のデータ単位は「バイト」です。データは勝手にはまとまってはくれません。例えば'1' '2' '3' '4' '5' '6'を送信したとしてそれが1回のread()で"123456"と受信されるか、read()6回で'1' '2 '...と受信されるかあるいはread()2回で'1'と"23456"になるか、(ソケット通信のレベルでは)管理されません。あるいは、2回のwrite()で'1'と'2'を送信したものが1回のread()で"12"と受信される可能性だってあります。
送信間隔と受信間隔の関係で「たまたま」送る側でまとめて送ったデータが受信側でまとめて受信されていることはあるかも知れませんが、途中で様々な通信路を通った場合にその区切りが保存される保証はありません。なので、2バイト以上のデータの塊をやりとりしたいのなら、送信側と受信側でデータの塊を作る規則を決めて、それに則ってデータを構成して送受信する必要があります(プロトコル)。例えば、ASCII文字で改行文字やヌル文字を区切りにするとか、データの開始記号-データのサイズ-データ本体-チェックサム-終了記号を送るとか、いろいろなパターンはあるでしょう。基本は送信側と受信側で合意していればよいのですが、通信状況によるデータの欠落などにどう対応するか等も考えるといろいろ付加情報をつけたりすることになります。

今回程度の話であれば、
送信側は、送信データの(有効な)文字数を得て、それだけを送り、さらに改行をつける。
受信側は、read_until readline()関数で改行までをひとかたまりとして受信する。
ぐらいで対応してみてはいかがでしょう。

Comments

[oniko]

ありがとうございます。とても勉強になります。read_until()関数というのは初めて聞きました。まずは伺った内容をきちんと理解できるように、調べていくことから始めます。

[thkana]

> x[4]でうまく行きました
今回はうまくいったということなんだけど、それじゃ本当はいけないかもしれないということは、一度どこかで痛い目をみたら思い出してくださいね。
http://www.kt.rim.or.jp/~ksk/wskfaq-ja/articles/lame-list.html#item20 (Winsockが題材だけどソケット一般として同じ話。古いページだけど、いまでも事情は変わらない)

Answer 2

python側でdata = client.recv(BUFSIZE)で受信したデータ全体を確認してみてください。
おそらくですが受信データ長は256で冒頭には数値文字列、終端コードであるb"\x00"があり、それ以降ゴミデータが入っているのではないかと考えられます。

>>> a = b"100\x00\xa5"
>>> a.decode("utf-8")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa5 in position 4: invalid start byte

といった具合にエラーになるのではないかと考えられます。

送信側で送信データ長を文字列長にするか
受信側で終端コード以降のデータを切り捨ててください。

---

2021-09-06追記

送信側で送信データ長を文字列長にするか

send(network_socket, &x, sizeof(x), 0);の第三引数sizeof(x)をstrlen(x)に変更します。
xのサイズを変えるのはデータの桁数（文字数）が変わったときに対応できないのでこちらを推奨します。

受信側で終端コード以降のデータを切り捨ててください。

現状はdataの長さが256になっていると思われますが有効な文字列長になるように変数の内容を加工してあげればよいです。findを使って終端コードの位置を求め、そこまで切り詰めます。

以下はpython3ですが2でも多分同じなはず。

>>> a=b"100\x00\xa5"
>>> index=a.find(b"\x00")
>>> index
3
>>> if index!=-1:
...    a=a[:index]
...
>>> a
b'100'
>>> a.decode("utf-8")
'100'

全く知識がなくこれを実現する見当がつきません。必要となる前提知識として何が必要になるのか良ければ教えていただけますでしょうか。

難しい質問ですね。
今回の場合は言語仕様、特に配列、文字列の取り扱いを知っていればできると思います。
ただ、言語仕様をあらかじめすべて把握することは難しいことです。
問題にぶつかったときに解決して覚えていけばいいと思います。

あと、質問の際、初心者アイコンをつけておくと最初からコードで修正内容を案内してもらえる確率が高くなるかもしれません。

Comments

[oniko]

なるほどそうなのですね。ご回答ありがとうございました。int型でクライアントからサーバを送ると、サーバ側ではprintfでの出力は空白になってしまうのですが、文字列をおくるときちんと表示されたので文字列型で送らなければならないのかな？と思い、sprintf()をもちいてint型を一旦文字列型に変換してみました。
ただ、これだと完全な文字列型には変換されていないということでしょうか？これによって送信データ長が文字列長になっていないということなのでしょうか。

[nomuken]

> ただ、これだと完全な文字列型には変換されていないということでしょうか？
C言語の文字列としては正しいです。
ただし、sprintfは終端文字より後ろは設定しないため、下地のデータが残ります。これがゴミデータと言っているところです。
ソケットでデータをやり取りするとき、データは文字列ではなくバイト列でやり取りします。
送信データサイズが文字列長ではなくバッファ長になっているのでゴミデータが一緒に送信されます。

受信側ですが受信データを文字列ではなくバイト列として受け取ります。
pythonの`バイト列.decode("utf-8")`としたとき、途中で\x00を見つけてもそこで変換を打ち切ってくれるわけではないようなのでゴミデータを参照したとき、エラーになります。

>これによって送信データ長が文字列長になっていないということなのでしょうか。
送信側のコードが`send(network_socket, &x, sizeof(x), 0);`とかいてあり、xは char[256]なのでsizeof(x)は256ですね。xの中身がどのようなデータかは関係ないです。

[oniko]

ありがとうございます。そもそも\x00におけるxというのが16進数を表しているということすら今回知りませんでした。とりあえず、x[4]でうまく行きました。迅速な回答ありがとうございました。とても勉強になります。

[oniko]

ちなみに「受信側で終端コード以降のデータを切り捨ててください。 」とのことでしたが、ネットではどのようなワードをもとに調べてみるとよいでしょうか。全く知識がなくこれを実現する見当がつきません。必要となる前提知識として何が必要になるのか良ければ教えていただけますでしょうか。