Linuxのカーネル空間にてメモリへのアクセス速度が異常に遅い

Question

前提・実現したいこと

Linux PCでデバイスドライバ（カーネルモジュール）の動作確認をしています。

発生している問題・エラーメッセージ

PCによっては、カーネルモジュールのメモリアクセス速度が異常に遅い問題が発生しています。
原因としてどのようなことが考えらますでしょうか？

128MBデータを書き込むのにかかる時間:
　PC#1: 6秒・・・問題！！
　PC#2: 0.5秒

以下、PCの詳細です。

PC#1
　　CPU: Xeon Gold 6254(18core) x 2個
　　メモリ: DDR4 16GB 2933MT/s RDIMM(ECC Reg) x 6個
　　OS: CentOS7.7(64bit)
PC#2
　　CPU: Core i7 x 1個
　　メモリ: DDR4 16GB x 1個
　　OS: Centos7.7(64bit)

該当のソースコード

#include <linux/slab.h>
#include <linux/module.h>

#define GRUB_ADDRESS 0x800000000 //GRUBのアドレス(/etc/default/grubにて定義)・・・PCにより定義が異なります

static int __init test_init(void)
{
	//a.変数宣言: 8Byte
	unsigned long long *data;

	//b.変数初期化: GRUBのアドレスをioremapにて仮想アドレスで初期化
	void* p = (void*) GRUB_ADDRESS; // Physical address
	unsigned long long size = 1024*1024*1024; //1GB
	data = ioremap_nocache( (unsigned long long)p, size ); // Virtual address


	printk(KERN_INFO "loop start\n");

	//c.ループ: 数値をライト: 128MB分ループ
	unsigned long long ii;
	for( ii=0; ii<128*1024*1024/8; ii++ ){ //128MB
            data[ii] = ii;
	}

	printk(KERN_INFO "loop end\n");

	return 0;
}


static void __exit test_exit(void)
{
}

module_init(test_init);
module_exit(test_exit);

試したこと

• 時間計測は、(c)のループ前後でprintkメッセージを出し、dmesgのタイムスタンプを利用しました。
• メモリへのアクセス関数をiowrite32()に置き換えてみたりしたのですが、現象に改善は見られませんでした。

Comments

[otn]

> 128GBデータを書き込むのにかかる時間:
128MB？

[退会済みユーザー]

失礼しました。正しくは128MBでした。訂正しました。
ご指摘ありがとうございました。

[dodox86]

思い付きなのでコメントのみですが、何らかの理由でドライバー内のループ時に他のカーネル部分の処理にCPU時間を奪われているのかもしれません。極端に高いネットワーク負荷とか、その他のI/Oとか。スピンロックなどの排他制御をして占有するようにすれば、状況が変わるかも、です。（長い時間の占有は危険がありそうなので、いきなり128MBではなく、少しずつ試してみてください）

[dodox86]

あとはメモリ（ハードウェア）の差でしょうか。同期の問題とか、一部で不良が出てエラー訂正かかりまくりであるとか。memtest86 などでメモリをチェックすると何らかの報告があるかもしれません。
> DDR4 16GB 2933MT/s RDIMM(ECC Reg) x 6個

Answer 1

PC#1って(Xeon、96GBのECCメモリと)PCというよりサーバーですね。NUMAが関係しているのでは?

Answer 2

memset関数などを使ってみてください。あれは中身が半分アセンブラなどで高速化されているので、それで高速化する場合しない場合がありしないようですと、カーネルレベルのトラブルかも知れません。基本的に同じ作者チームが描いている初期化関数で初期化してみないと相性などがあるのでわかりません。

Comments

[退会済みユーザー]

ご回答ありがとうございます。memset関数につきまして、取り急ぎ結果の共有をいたします。
memset関数を使ってみましたが、速度は改善しませんでした。

>基本的に同じ作者チームが描いている初期化関数で初期化してみないと相性などがあるのでわかりません。
につきまして、もう少し具体的にご教示いただけましたら幸いです。

[kokorohamoe]

memsetないしbzeroなどのカーネルチームが提供している関数で駄目となると、ちょっときちんと計算しないとわからないっぽいですね。for のループが結構な回数に成るので処理の問題かと思ったのですがカーネルチームが試験したものでもだめとなると本格的に確認するしかなさそうです。お力になれずすみません。
いろいろな原因が考えられますので私なら１０や２０のデータは取ってみて傾向をみて、アプローチしていきます。forの點せかたの問題ではなさそうなのでlong longをlongにかえてもだめっぽそうですね。
そうやって駄目に見えるものでもデータを収集して１つ１つ原因を洗い出していくしか無いと思います。機材や設定などに依存することの場合もあるのでわたしなら、そうやってアプローチしていきますとしか家なさそうです。お力になれずすみませんでした。

[退会済みユーザー]

詳細をありがとうございました。アプローチについてもコメントありがとうございます、大変参考なりました。