Python Socketでrecv()で設定したサイズ以上のデータ受信について

Question

前提・実現したいこと

Pythonでsocketを使い、チャット＆ファイル送受信ソフトを作りたいです
チャット機能自体は作れたのですが、ファイル受信の機能がうまく作れません
受信側のrecv()で設定したサイズ以上のデータを送ると全て送れず、下記のコードで受信をループさせると今度は終わらせることができません。
どのようにすれば、データがすべて受信できたことを確認することができるでしょうか？

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

 　　　　　　while True:
                rv1 = sock.recv(4096)
                if type(rv) != bytes:
                    rv = b""
                    bytes(rv)
                if(rv1 == b""):break
                rv += rv1
                print(len(rv1))
            print(type(rv))
            rv = pickle.loads(rv)
            print("rvの中身　：",rv)
            print(type(rv))
       

※インデントが少しおかしいかもしれません。

実装したいのは「データがもう送られてこなかったら」breakし、ループを抜けてそれをpickleでロードしたいです
こちらの質問内容から、「if not data(自分の場合はrv1)」はソケットがあるかどうかを監視していることがわかり。自分はチャットソフトとしても使うと想定しているので一回一回ソケットを閉じていられません。

どのようにすれば、データがすべて受信できたことを確認することができるでしょうか？

試したこと

似たようなteratailの質問
ループの基礎

補足情報（FW/ツールのバージョンなど）

Windows10
python 3.9.4

おかしなところがあれば申し訳ありません。色々教えていただければ幸いです。

Answer 1

どのようにすれば、データがすべて受信できたことを確認することができるでしょうか？

送信側が事前にデータサイズを通知しておく必要があります。

一般的なバイナリーデータの送受信では、
ヘッダー部分(固定長のデータ) + ペイロード部分(可変長のデータ)
として、パケット(ヘッダ+ペイロード) 単位でやり取りをします。

import struct
from types import SimpleNamespace

def _read_length(stream) -> int:
    assert struct.calcsize(">I") == 4
    return struct.unpack(">I", stream.read(4))[0]

def _read_payload(stream, length) -> bytes:
    return stream.read(length)

def read_packet(stream):
    length = _read_header(stream)
    payload = _read_payload(stream, length )
    obj = pickle.loads(payload)
    return SimpleNamespace(**locals())

def send_packet(sock, obj):
    payload = pickle.dumps(obj)
    length = len(payload)
    sock.sendall(struct.pack(">I", length)
    sock.sendall(payload)


... # 略
stream = sock.makefile("rb")
packet = read_packet(stream)
print(packet.obj)

• 要点を解りやすくする為、送受信はブロッキング (read/sendall) で記載。

recv/send の場合は、追加で独自にバッファ管理をする必要があります。

• エラー処理は省いてますが、エンディアンの違いでも

　巨大なサイズのペイロードを読み取ろうとしてしまうので注意。
実際のアプリケーションでは、ヘッダ部分に様々なデータを含めます。

---

追記: pickle化するデータを送受信する例
ネットワーク越しの logging イベントの送受信

Answer 2

len(rv1)が4096未満になるまで繰り返せばよいと思います。

Comments

[teamikl]

recv に指定するのはバッファの最大値なので、読み込まれる実際のデータサイズは保証されてません。
ローカル環境通しのテストでは意図通りの動作となるかもしれませんが、実際の環境では問題です。

socketからmakefileで作成したfile-like オブジェクトのread なら、想定されてるような挙動
指定バイト読み込むまで待機します。