pythonによるソケット通信でデータを少しずつ受信する方法について

Question

＜背景＞
pythonでソケット通信の勉強をしています。
recv()のバッファサイズについて、よく参考書では1024バイトなどが固定で指定されていますが、仮にバッファよりも大きいデータが来た場合,対応するにはどうしたらよいかという疑問に行きつきました。
そこで、recv()をループさせて、とりあえず1バイトずつ読み取って、最後に合算したデータをクライアントに送信できないかと思い、以下のプログラムを書いてみました。

＜ご質問内容＞
recv()をwhileでループして、データを「data_total」変数に足し合わせていき、最後までデータを読んだところで、まとめてクライアントに送りたいのですが、以下のプログラムではrecvで最後まで読んだ後に、「if not data:」の条件文までいかずに、recv()で止まってしまいます。
どのようにしたらrecv()で止まらずに「if not data:」の条件文でブレイクできるでしょうか。
ご教示の程何卒よろしくお願い致します。

#server側
import socket

def server():
    with socket.socket(socket.AF_INET,socket.SOCK_STREAM) as s:
        s.bind(("127.0.0.1",8888))
        s.listen(1)
        conn,addr = s.accept()
        with conn:
            data_total = "".encode()
            while True:
                data = conn.recv(1)
                print("data:{}".format(data))
                data_total += data
                if not data:
                    conn.sendall(data_total)
                    break

if __name__ == '__main__':
    server()

# client側
import socket

with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.connect(('127.0.0.1', 8888))
    s.sendall(b'test_message')
    data = s.recv(1024)
    print(repr(data))

Comments

[y_waiwai]

うまくいかないとはどううまくいかないんでしょうか

[hawk_daily]

抽象的で大変申し訳ございません。recv()をループさせて、読み込むデータがなくなったらブレイクしたいのですが、データをすべて読み込み、最後に空のデータを読み込むrecv()でブロックされて止まってしまいます。一応デバッグモードで確認してみました。

[y_waiwai]

そりゃデータが来るのを待ってるんじゃないんでしょうか。
空のデータを読むって意味不明ですよ

[hawk_daily]

申し訳ございません。
if not data:という条件文でよくループを抜けているソースをよく見かけるのですが、これは、recv()で受けたデータが空かどうかの判定をしているのではと思ったので、「空のデータを読む」と表現しました。。

[otn]

空なら何がデータが来るまで待ちます。
待ちたくない場合はノンブロッキングモードにします。

おかしな事を考えずに普通に書けば良いと思いますよ。

[hawk_daily]

ありがとうございます。
if not data:という条件文はノンブロッキングモードでしか意味をなさないという事でしょうか。
以下リンクのプログラムではノンブロッキングモードでソケットを使用していないように思いますが、いかがでしょうか。質問ばかりで申し訳ございません。
https://qiita.com/__init__/items/5c89fa5b37b8c5ed32a4

[bsdfan]

if not data は、相手がソケットをクローズしたかをチェックします。

[hawk_daily]

if not dataは相手のソケッドをチェックしているのですか！なるほど、それであれば私もしっくりきます。
それにしても、ここで質問するにあたって「PythonによるTCP/IPソケットプログラミング」という本を読みましたが、if not dataは「受信するものがないならブレイク」と書いてありましたので、勘違いしてしまいました。ご回答ありがとうございます。

Answer 1

recv は、ブロッキングモードで動作します。ブロッキング動作では、データが来ていなければ来るまで待ち、データがあれば、そのときに得られるデータを指定したサイズ分取得して返します。、

質問の回答で提示されているリンク先の例もブロッキングですから、1024バイト以上のデータをやりとりすることはできません。

ノンブロッキングであれば、recvはデータが来ていなくても返りますが、データが終りまで送られたのか、まだ来ていないのかの判定をするなどしなければなりません。そのあたりは、送信側との兼ね合い(プロトコル)によるので、それに合せて実装することになります。
このあたり にそういったときのヒントが書いてありますので、読んでみるといいと思います。

Comments

[hawk_daily]

ご回答いただきありがとうございます。
recvの動作が理解できました。またリンク先のドキュメントも確認したいともいます。

追加でご教示いただきたいのですが、基本的にrecvは予めどのくらいのデータ量が来ることが解っている場合に使用することが多いという認識でよろしいのでしょうか。また、動的にrecvのバッファサイズを変更する方法や、ループなので繰り返しデータを読む方法などについてご存知であれば、ご教示いただきたく存じます。手数おかけして大変申し訳ございませんが、何卒よろしくお願いいたします。

[hawk_daily]

五月雨式に失礼します。
その後、ご教示いただきましたリンク先を元にrecvを繰り返してデータを処理する方法がわかりました。
そのため上記の疑問は解決いたしました。
みなさまより様々なご指摘いただきましたが、こちらのご回答が最も私が知りたかった情報でしたので、ベストアンサーにさせていただきます。
みなさま誠にありがとうございました。

Answer 2

data = conn.recv(1)

            data_total += data

バイトデータを積算させてるようですが、何をしたいんでしょうか。

Comments

[hawk_daily]

1バイトずつループで読み込み、合算させたのちにクライアントにまとめ送信したいです。