２つのDockerコンテナ間で通信がしたい

Question

前提・実現したいこと

２つのコンテナの間で連携するプログラムを作りたい。
そのためにまずは、pythonライブラリーのsocketでTCP通信したい。
現状、コンテナ間でPINGは通っている。

発生している問題・エラーメッセージ

socketの公式サイトにあるサンプルプログラムを試したが、通信できなかった。
以下に示すように、クライアント側でエラーとなってしまった。
公式のサンプルプログラムを２つのコンテナ上で互いに動作させるにはどうしたらいいでしょうか？

• サーバー側コンテナ(正常な待機状態)

root@48bce5a558f4:~/ubuntu_socket/socket_test# python socket_Server.py 
Server started. Listening on ('172.17.0.2', 11113)

• クライアント側コンテナ（エラー）

root@5521f5ec4a59:~/ubuntu_socket/socket_test# python socket_Client.py 
Traceback (most recent call last):
  File "socket_Client.py", line 4, in <module>
    response, addr = client.poll_server("Hello world", server=('172.17.0.2', 11113))
  File "/usr/local/lib/python3.6/dist-packages/sockets/python3/client.py", line 16, in poll_server
    self.socket.sendto(bytes(data, "utf-8"), server)
OSError: [Errno 22] Invalid argument

該当のソースコード

• サーバー側の「docker run」

$ docker run -it -v $(pwd)/:/root/ubuntu_socket \
-w /root/ubuntu_socket/socket_test -p 11113:11114 ubuntu:Sock

• クライアント側の「docker run」

$ docker run -it -v $(pwd)/:/root/ubuntu_socket \
-w /root/ubuntu_socket/socket_test -p 11114:11113 ubuntu:Sock

• サーバー側コンテナのpythonファイル（socket_Server.py）

# Test server with Python3:
from sockets.python3.server import Server
class MyServer(Server):
    def act_on(self, data, addr):
        # Do something with data (in bytes) and return a string.
        return data.decode()
server = MyServer(listening_address=('172.17.0.2', 11113))
server.listen()

• クライアント側コンテナのpythonファイル(socket_Client.py)

# Test client with Python3. Polls the Python3 server.
from sockets.python3.client import Client
client = Client()
response, addr = client.poll_server("Hello world", server=('172.17.0.2', 11113))
print(response, addr)

質問の過程で試したこと（追記3/31）

サーバー側のポートのみ開放

• サーバー側の「docker run」

$ docker run -it -v $(pwd)/:/root/ubuntu_socket \
-w /root/ubuntu_socket/socket_test -p 11113:11113 --name server_container ubuntu:Sock

• クライアント側の「docker run」

$ docker run -it -v $(pwd)/:/root/ubuntu_socket \
-w /root/ubuntu_socket/socket_test --name client_container ubuntu:Sock

Dockerデフォルトで作成されるブリッジネットワーク「bridge」に、２つのコンテナが接続されていることを確認

• 「bridge」の「netwark inspect」の一部

    "Containers": {
        "8d2b0325708e3a495e985a245326f57b297e68546df1cdf7d61b2cd1030bc869": {
            "Name": "client_container",
            "EndpointID": "edd55ed2401674eca6bb8707b04e8856d036bd4e35e2beb97fdc36b2c14c488e",
            "MacAddress": "02:42:ac:11:00:03",
            "IPv4Address": "172.17.0.3/16",
            "IPv6Address": ""
        },
        "c77b59eb1042f6e6b48502303c92046419226daae630fbd818d700571eda990b": {
            "Name": "server_container",
            "EndpointID": "0c7724a046883dd75f24ec73464dd833c0cb3b8e1ab9f1de05c255648b13c685",
            "MacAddress": "02:42:ac:11:00:02",
            "IPv4Address": "172.17.0.2/16",
            "IPv6Address": ""
        }
    },

• サーバー側、クライアント側双方のコンテナ内のターミナルで互いのIPへpingが通ることを確認済

補足情報（FW/ツールのバージョンなど）

	内容（バージョンなど）
ハードウェアー	Dell Precision 3520 (ノートPC)
OS	Ubuntu 18.04.4 LTS
Docker	version 19.03.7
sockets	version 1.0.0

Answer 1

実験もせずに回答しますがご了承ください。

サーバプロセスが11113で待ち受けているのに、コンテナ外からの11113のアクセスを11114に転送しているのが間違いかと。あとやりたいことを見る限り、クライアント側のdockerがポート転送する必要はないのではないかと思います。

• サーバー側の「docker run」

$ docker run -it -v $(pwd)/:/root/ubuntu_socket \
-w /root/ubuntu_socket/socket_test -p 11113:11113 ubuntu:Sock

• クライアント側の「docker run」

$ docker run -it -v $(pwd)/:/root/ubuntu_socket \
-w /root/ubuntu_socket/socket_test ubuntu:Sock

これで動かないですかね？

Comments

[xsteviax]

回答ありがとうございます。
おっしゃるとおりの「docker run」で立ち上げてもう一度プログラムを実行しましたが、
残念ながら、クライアント側で同じエラーが発生しました。

[masaya_ohashi]

そもそも172.18.0.2というのはちゃんとサーバ側のIPなのでしょうか？

[masaya_ohashi]

あれ？よく見たらそもそもclient側のserver指定が172.18.0.2になってない

[xsteviax]

すみません、エラー内容をコピー＆ペーストしたときに、試行錯誤したものを載せてしまっていました。
もう一度「docker run」し直して、サーバ側コンテナのInspectを確認したところ
--- サーバー側コンテナのInspectの一部 ---
"IPAddress": "172.17.0.2"
"PortBindings": {
"11113/tcp": [
{
"HostIp": "",
"HostPort": "11113"
}
]
},
となっており、設定に問題ないかと思われます。
この状態で同じように実行し、また同じエラーとなりました。

また、client側のpythonファイル中のIP設定を「172.17.0.3」(client側のIP)としたところ、クライアントのプログラムが停止しました。（ターミナルが帰ってこない状態）

改めてIPを確認したところ、「172.18.0.2」ではなく「172.17.0.2」でした。
混乱を避けるため、本文の内容を改めて実行した内容に修正いたします。

[masaya_ohashi]

https://knowledge.sakura.ad.jp/16082/
そもそもですがDocker同士の通信はIPでの指定ではなくコンテナ名でホストが通るようにするのが一般的なようですが、そもそもsocketに限らずこのIPでクライアント側からサーバ側にアクセスできることは確認済みですか？

[masaya_ohashi]

https://qiita.com/mincoshi/items/5a1542b523195a9c11ed
コメントしたあとに気付きましたが、--linkのやり方は非推奨になっているようです。bridgeのやり方でやってください

[xsteviax]

サーバー側、クライアント側双方のターミナルで互いのIPへpingが通ることだけ確認しています。

他のやり方を調べていただき、ありがとうございます。
また、少し試してみたいと思います。

[xsteviax]

自動で作成される「bridge」の他に「test-network」を作成し、netcatで通信してみました。
「bridge」ではnetcat通信できなかったのが、「test-network」では通信できるようになりました。
しかし、「test-network」のIPアドレス（サーバー側IP : 172.0.18.2）で、公式のコードを実行したところ、まだクライアント側で同じエラーが発生しました。
あと、一般的な方法として「コンテナ名でホストが通るようにする」とはどのような方法でしょうか？

[masaya_ohashi]

クライアント側のコードで指定しているpoll_serverの引数を server=('server_container', 11113) にしてみてください。bridgeで同じネットワーク上にいるコンテナ同士はコンテナ名でDNS解決が行われる、というのが私の理解ですがあっているか検証してないのでわかりません。

[xsteviax]

同じエラーが出てしまいました。
client.poll_server("Hello world", server=('server_container', 11113))
OSError: [Errno 22] Invalid argument

ただ、コンテナ名で指定できるというのは間違っていなさそうでした。
↓存在しないコンテナ名を指定
client.poll_server("Hello world", server=('server_contair', 11113))
socket.gaierror: [Errno -2] Name or service not known

[bsdfan]

"sockets" というライブラリがおかしいんじゃないかと思います。
ソースを見ると、クライアントのソケットが"127.0.0.1"にbindされています(普通はそんなことしない)。なので、このライブラリでは127.0.0.1以外のサーバーとは通信できないです。

python標準のsocketを使って試してみてはどうでしょう。(検索すればいくつか出てきます)

あと、サーバー側のlistenアドレスは '' (空文字)か、"0.0.0.0" にしたほうがいいです。(ANYアドレス)

[xsteviax]

回答ありがとうございます、これは標準ものではなかったのですね。
たしかに、もともとのubuntuのDockerイメージに、予めsocketがインストールされていたので、
それを使って少し試してみようと思います。

Answer 2

標準のsocketライブラリを使っている記事を参考に、pythonファイルを書き直したところ、
問題なく通信することができました。
Pythonでソケット通信を行う方法【初心者向け】
回答していただきました方々ありがとうございました。

• サーバー側コンテナのpythonファイル（socket_Server.py）

import socket

PORT = 11113
BUFFER_SIZE = 1024

with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.bind(('0.0.0.0', PORT))
    s.listen()
    while True:
        (connection, client) = s.accept()
        try:
            print('Client connected', client)
            data = connection.recv(BUFFER_SIZE)
            connection.send(data.upper())
        finally:
            connection.close()

• クライアント側コンテナのpythonファイル(socket_Client.py)

import socket

PORT = 11113
BUFFER_SIZE = 1024

with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.connect(('server_container', PORT))
    data = input('Please input > ')
    s.send(data.encode())
    print(s.recv(BUFFER_SIZE).decode())