asyncioのレイテンシ低減Tips

Question

asyncioで低レイテンシ(100us〜1ms)で応答出来るサービスを実装するにあたって、何かtipsはありませんでしょうか？

今のところ思いつくのは、

• TCPではなくUDPを使う
• uvloopが使える環境であれば使う
• streamではなくprotocolで実装する
• Cythonが使えるところは使う
• 標準ライブラリも一部Cython化する
• sleepはtimeでもasyncioでもしない
• Profileで見て削れそうなところは削る
• 実測値が一番速い組み合わせのPython 3.6 + uvloop 0.8.1を使う
• 処理単位が大きくならないように適宜awaitを挟む
• なるべくCモジュールを使う
• Python自体の最適化オプションを有効にしたビルドを使用する

です。

今、単純なPing Pongが200〜300usくらいなのですが、なんかまだスケジューリングやI/O周りで変な待ちが発生している気がします。

思いつきで結構なので、何か気付きのヒントを頂けないでしょうか。例えばprint()は使わない等々。よろしくお願いします。

追伸 ... 「PythonではなくGoやCを使おう」は無しの方向でお願いします。Python以外では自分の生産性レベルが著しく落ちてしまいます。

後日談 ... CPUの省電力機能を切ったりしてもジッタが軽減されて幸せになれました。

Answer 1

低レイテンシ(100us〜1ms)

Full GC(Garbage Collection)が動作するだけで、デッドラインを超える要求仕様ですね。。。

思いつきで良ければ、
0. Zero-Copy python
0. memoryview

どちらにせよ、Full GCについて意識する必要はあるのではー。

◇参考情報
Zero-copy networking

Comments

[YouheiSakurai]

ありがとうございます、GC周りですか。詳しくないので調べて追っかけてみます。あとzero-copyもありがとうございます、ぱっと見、知らないフラグも言及されてそうで、こちらもしっかり勉強します。

[YouheiSakurai]

Zero-Copyは無理そうなのでLess-Copyの視点でmemoryviewを使って再度最適化した所、普通のWindows PCでも「Sequential 10000 round trips in 1.09 sc, ('min', '84.0 µs') ('mean', '104. µs') ('median', '92.0 µs') ('max', '2.50 ms')」くらいまでレイテンシを低減できました。bytesのスライス周りで無駄にメモリのコピーが発生していたようで、気持ちが良いくらい高速化した部分もあり、大変に助かりました。誠にありがとうございます。あと残るはジッタですが、GCを間欠的にしか有効化しない or 無効のままで定期的にプロセスを再起動させるといった方向で、また機会を改めて考えていこうと思っています。重ね重ね御礼申し上げます。