ソフトウェア割り込みの偏り

Question

QiitaのLinux ネットワークパフォーマンスの機能強化という記事に

何も設定していない場合はネットワークの割り込みは特定のCPUで行われるため、ネットワークの割り込みに関連づいたCPUの%siが高くなります

と記述されていました。手動で設定せずとも自動でMulti-QueueなNICな判別して割り込みを複数のCPUに分散させるものだと思っていたのですが現在も手動でRSSの設定を行う必要があるのでしょうか。
手元にLinuxマシンがないためどなたか教えていただけないでしょうか。
また、WindowsでもこのようなCPUごとのネットワークの割り込みの偏りはあるのでしょうか。

Comments

[gentaro]

元記事に質問コメントを投げないのは何故なんだろう。

Answer 1

説明がちょっとざっくりしすぎてていたので、改めて説明を試みます。

Linuxの場合は(そしておそらくWindowsであろうとも)一部のNICのQueの割り込みは偏ります。
けれどもそれは、ドライバの作り込みやデフォルト設定値がそうなっているからです。

でもこの偏りは意図的なもので、一定の価値があります。

EtherフレームをPCが受信する場合の動作について想像してほしいのですが、
・L2通信でNICに到着する
・(ある種のNICによるネットワーク処理オフロードが行われる)
・DMA転送で、メインメモリにNICが書き込む
・OS/CPUが、各プロセスに書き込まれたメモリ領域を引き渡す

この辺りは、後藤さんの記事(たとえばこれ)を読んで想像してもらうとわかるのですが、モダンなCPUではメモリは、直接CPUに接続されているため(Non Unified Memory Access : NUMA)、このNUMAのCPU Coreのノードを超えるメモリアクセスは、CPUインターコネクトをまたいだアクセスが発生し、メモリアクセスレイテンシが増加し、CPU間及びCPU内部バスの帯域を圧迫することになります。

理想的には、受け取りたい仮想マシン/プロセスが走行しているCPU CoreにNICがDMAで書き込んでくれることですが、マルチキューのすべてのEtherフレームが、なんの考慮もなしにバラバラのCPUコアに割り振られると、仮想マシン/プロセスがネットワークの通信を拾うのに、CPU間のデータ転送が頻繁に発生してしまいます。

元来、割り込み、というのは、CPUの処理を一旦中断するため、多量な割り込み処理は本来やりたかったタスクに処理能力が割けない、という事態を巻き起こしかねません。
例えば少しでもコンピューティングパフォーマンスがほしい場合、ハイパフォーマンス・コンピューティングでは、ネットワーク転送量をできるだけ絞ったような処理になるようにプログラムされますから、割り込みが偏っていたほうが、他のCPUは余計な割り込み処理に振り回されることがなくて、そちらのほうが適しているということも言えるわけです。

NIC側からも、ドライバ側からも、ハードウェアに取り付けられて起動されるまで、どんなNUMAノード構成なのか、知る由もありませんから、結果的に、可変って事になってる場合が多いようです。