amazon linux2でroot diskがひっぱくしている。

Question

アプリケーションで動作させるEBSでのキャッシュ用ディスク(100G)のマウントを忘れてrootディスクがキャッシュディスクとして動いてしまい。
rootディスクの30Gにどんどん書き込まれた結果、アプリ側も止まってしまいました。
その後、マウントしたものが/dev/nvme1n1ですが、rootのディスクはひっ迫して取り残されたままの状態です。

84%の使用率ですが、いったいどこがそんなにつかっているのか分からない状況です。

[root@ /]# df -h
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        7.8G     0  7.8G   0% /dev
tmpfs           7.8G     0  7.8G   0% /dev/shm
tmpfs           7.8G  416K  7.8G   1% /run
tmpfs           7.8G     0  7.8G   0% /sys/fs/cgroup
/dev/nvme0n1p1   30G   25G  5.1G  84% /
/dev/nvme1n1    100G  135M  100G   1% /mnt/data
tmpfs           1.6G     0  1.6G   0% /run/user/1000

duでもそれほど使っているようなものは出てきていない気がします。

[root@ /]# sudo du -sh * | sort -nr
du: cannot access ‘proc/6379/task/6379/fd/3’: No such file or directory
du: cannot access ‘proc/6379/task/6379/fdinfo/3’: No such file or directory
du: cannot access ‘proc/6379/fd/3’: No such file or directory
du: cannot access ‘proc/6379/fdinfo/3’: No such file or directory
484M    home
479M    var
416K    run
116K    opt
87M     boot
64K     tmp
64K     root
31M     etc
3.5G    usr
0       sys
0       srv
0       sbin
0       proc
0       mnt
0       media
0       local
0       lib64
0       lib
0       dev
0       bin

解決方法をご存じの方いましたらご教授頂けますでしょうか...

Comments

[yukky1201]

/ディレクトリ直下の容量は確認しましたか？

[nawfus]

情報ありがとうございます。
先ほど、別の回答者からの情報で解決致しました。

ありがとうございます。

Answer 1

/dev/nvme1n1 を unmount するとどうでしょうか。
/mnt/data に意図せず書き込んでしまったキャッシュデータが入っているはずです。

そのデータを消せば空き容量が回復すると思います。
rm -rf /mnt/data/*

上の状況は、 /dev/nvme1n1 をmount したので rootディスクの /mnt/data/ 以下のファイルが隠されて
duの結果と rootディスクの使用量が食い違って見えるというUnix系OS共通のトリックみたいな現象です。

Comments

[nawfus]

ご回答ありがとうございます！
ご教授頂いた方法で解決しました。

データを消さずにマウントは要注意という事ですね。。
大変勉強になりました。
ありがとうございました！