Resource temporarily unavailableが発生し、コマンドが実行できない

Question

前提・実現したいこと

現在以下のエラーの通りLinuxコマンドが実行できない状態です。
おそらくスレッド数が多すぎるため発生しているエラーと思いますが、どのようにすれば解決できるでしょうか。

• スレッド数が10,000を超えたあたりからResource temporarily unavailableが発生します。
• スレッド数を10,000を超えないようにするとResource temporarily unavailableは発生しません。
• 以上2点からアプリケーションでは無く、Linux側の問題かと考えています。
• スレッドを多く建てる必要があるアプリケーションの為、スレッド数を抑えて解決という事はできません。
  

発生している問題・エラーメッセージ

• touch に限らず他のコマンドcatやvimコマンドも失敗します。
• 恐らく全てのコマンドが実行できないです。
• エラー発生前から実行中のプロセスは終了する事なく、問題なく実行され続けます。（htop等）

# touch hoge
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: Resource temporarily unavailable

cdは成功しますがエラーが出る事があります。（絶対出るわけではない）

root@~# cd /etc
-bash: wait_for: No record of process 21875

root@/etc#

試したこと

• 最大スレッド数等を増やす
  →解決しなかった
  参考 https://blogs.itmedia.co.jp/komata/2012/05/linux-3132.html

sysctl -w kernel.threads-max=600000
sysctl -w kernel.pid_max=600000
sysctl -w vm.max_map_count=600000

• 最大PID数を増やす
  →解決しなかった

$ vim /sys/fs/cgroup/pids/user.slice/user-0.slice/pids.max
999999
$ reboot 

再現方法

• 1. プログラムを書く

#include <stdio.h>
#include <pthread.h>
#include <unistd.h>
void *thread ()
{
  sleep(9999);
}

int main()
{
  int err = 0, count = 0;
  pthread_t tid;

  while (err == 0)
  {
    err = pthread_create (&tid, NULL, thread, NULL);
    count++;
  }
  printf("max thread: %d\n", count);
  getchar();
}

• 1. コンパイルする

gcc source.c -pthread

• 1. 実行する

$ ./a.out
max thread: 10800

$ touch a
-bash: fork: retry: Resource temporarily unavailable

補足情報（FW/ツールのバージョンなど）

• Ubuntu 18.04
• CPU 32 Core
• RAM 64GB

$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 257435
max locked memory       (kbytes, -l) 16384
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65536
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 257435
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

$ uname -a
Linux localhost 4.15.0-50-generic #54-Ubuntu SMP Mon May 6 18:46:08 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux

$ cat /proc/sys/kernel/threads-max
514870

Comments

[Zuishin]

https://tutorialmore.com/questions-37082.htm

これを読んで試してみてください。

[daiki002]

情報ありがとうございます、しかしsystemdに関する解決方法のみが載っていたので解決に至りませんでした。
※スレッドを多く建てるアプリケーションでsystemdを利用していません。

念の為以下の手順でDefaultTasksMaxを変更しましたが同様のエラーが出ます。
vim /etc/systemd/system.conf
DefaultTasksMax=unlimited
reboot

※tutorialmore.comは機械翻訳しただけのWebサイトなのでオリジナルの記事はこちらかと思います。
https://unix.stackexchange.com/questions/253903/creating-threads-fails-with-resource-temporarily-unavailable-with-4-3-kernel

[Zuishin]

スコアの低い人の初心者マークの質問に英語のソースを貼るといじめだと言われるのでわざわざ日本語のものを探しました。

また質問する前、した後に調べたことがあるなら質問を編集してそれを記載してください。

[Zuishin]

また英語が得意なら Stack Overflow で質問するのも手です。その場合は両者のガイドラインに従って適切に質問してください。

[Zuishin]

それと、私の貼ったリンク先には、どのリソースが不足しがちか書いてあります。それを参考に、具体的にどのリソースが枯渇したのかを調べ、質問に追記してください。

[退会済みユーザー]

話の流れをぶった切りますが、ファイルディスクリプタは増やしましたか？

Answer 1

結論

systemd のUserTasksMaxが原因でした。（参考3）

現状の確認方法

「ユーザ全体」の制限があるか確認する（参考3）

以下の場合は制限はありません。

$ systemctl status user.slice | grep Tasks
    Tasks: 6

「root」の制限があるか確認する（参考3）

以下の場合は最大10,249の制限があります

$ systemctl status user-0.slice | grep Tasks
    Tasks: 6 (limit: 10249)

質問の「再現方法」に書いてあるプログラムを実行すると、ほぼ一致します。
（Linuxシステムで既に実行中のプロセスがいくつか存在するので誤差があります）

$ ./a.out 
max thread: 10242

解決方法

以下コマンドを実行する（参考1）

$ mkdir /etc/systemd/logind.conf.d/
$ vim /etc/systemd/logind.conf.d/override.conf
[Login]
UserTasksMax=infinity

$ reboot

また、以下のカーネルパラメータを適切に設定する事でスレッド上限が増えます（参考2）

$ sysctl -w kernel.threads-max=600000
$ sysctl -w kernel.pid_max=600000
$ sysctl -w vm.max_map_count=600000

また、スレッド上限を限界までチューニングする場合はスタックサイズ変更もポイントになります。
hana_yama_san様の回答

参考

1. TasksMax を利用した fork ボムの防止

2. Linuxでの最大スレッド数

3. cgroup: fork rejected by pids controller in..." found in system log

Answer 2

（参りました、検証中にVirtualBox上の
CentOsで「sysctl kernel.threads-max=100000」
を実行したら、ホスト機のFreeBSDまでハングしてしまった）

・・・
で、要するに作成できるスレッド数は当たり前ですが、
システムのメモリサイズに依存します。

調べたら、
number of threads = total virtual memory / (stack size10241024)
だそうです。

と言う事で「ulimit -s」を使用すればスタックサイズを小さく出来、
結果的にスレッドを多く出来るようです。

が、
スタックを小さくすると、コマンドライン引数の最大値が減るとか、

スタックオーバーフロー（仮に発生してもプログラムが落ちるだけで
昔の様にセキュリティ侵害に直結することは少ないでしょうが・・）
が、発生したりのリスクが発生します。
（多数回の再帰呼び出し等は動かなくなるかもです）

※VMの大きさは既に最大に設定されているようです。

「ulimit -s」を確認し、自己責任でチューニングしてください。

書いている間に、他の回答が付いて（えっ！てか、自己解決？）解決済みになった様ですね。
ま、ご参考までに。

Comments

[daiki002]

ご回答いただいたのに自己解決していて申し訳ないです。
しかしスタックサイズについては触れていなかったのでありがたいです。

カーネルパラメータの変更だけでは最大スレッド数の限界があるので、限界までチューニングする場合はスタックサイズを考慮するシーンが出てきそうですね。

[hana_yama_san]

その通りです。が、はっきり言ってメモリを増やすが最適解かもしれません。