仮想環境ではUnixドメインソケットよりTCPの方が性能が良い？

Question

同一マシン上でプロセス間通信するときに、Unixドメインソケットと127.0.0.1のTCPソケットのどちらの方がパフォーマンスがいいのか調べています。

こちらのstack overflowの回答によるとUnixドメインソケットの方がレイテンシ、スループットともに断然上ということで、TCPが持っている複雑なフロー制御などの仕組みを考えるとそれも納得がいきます。

しかし上記回答の中にもあるこちらのベンチマークを試してみたところ、仮想環境上ではそれが逆転する場合があるという結果になりました。

ベンチマーク実行方法

git clone https://github.com/rigtorp/ipc-bench.git
cd ipc-bench
make
make run

結果

環境	TCP	Unix
EC2 (t2.micro)	1536	939
ConoHa VPS	750	507
Windows + VirtualBox	n	3 * n
実機 (EC2 i3.metal)	241	924
Mac実機	91	389

• TCPは実行結果に表示されるtcp_thrのaverage throughput (Mb/s)の値
• Unixは実行結果に表示されるunix_thrのaverage throughput (Mb/s)の値
• t2.micro, ConoHaではTCPの方がスループットが大きく、それ以外では逆となっています
• 最後の「Mac実機」以外はLinux。カーネルのバージョンは同一ではないです…
• Windows + VirtualBox上では数値を記録しそこねたのですが、Unixの方が3倍の値でした。
• したがって「全ての仮想環境で逆転する」というわけではありませんでした。

質問

どうして環境によってこのような逆転が起きるのか疑問に思っています。
「カーネルの実装からしてこういう理由だろう」といったヒントだけでもいただけますでしょうか。

Answer 1

私にもはっきりしたことは分かりません。
ただ、TCPに関しては性能を左右するパラメータがいくつかあります。
サービスとして提供されている仮想環境で、そこらへんが仮想的なネットワーク通信に最適化された結果、良い性能が出るようになっているという可能性はあります。
Linuxならsysctl -aあたりでカーネルパラメータを出して、違いを吟味した方が良いと思います。

あと、性能逆転とまではいかないと思いますが、ファイアーウォールが有効になっているかどうかでも、性能に違いが出ると思います。

Comments

[vc3000]

返信が遅くなりましてすみません。

その後、EC2で同じAMI（ami-db710fa3 / Ubuntu Server 16.04 LTS）からt2.micro、c4.large、i3.metalでインスタンスを立てて比較してみました。

結果、t2.microだけ同じくらいで、他２つはUnixドメインソケットの方が４倍ほどよいという結果でした。

https://gist.github.com/aoyama-val/26a00bd408b1dbe6b26f8a291f7dee28

カーネルパラメータを比較したところ、net.ipv4.tcp_mem, net.ipv4.tcp_max_orphans, net.ipv4.udp_memの違いが目に付きましたので、c4.largeにてこれらの値をt2.microと同じに変更してみましたが、結果は変わりませんでした。