elasticsearch が突然killされる。

Question

環境

elasticsearch 6.6.1
CentOS release 6.9
を利用しております。

課題

私は営業企画部門に所属しておりまして、
的を得ない質問をしてしまうかもしれないのですが。

昨日まで可動していたelasticsearchが突然止まってしまい、
再起動を行おうとすると起動の工程で突然killedされてしまいます。

起動の工程でのkilledの箇所も毎回異なっており、

[2019-05-17T17:10:13,005][INFO ][o.e.h.n.Netty4HttpServerTransport] [1bITOOv] publish_address {127.0.0.1:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}
[2019-05-17T17:10:13,005][INFO ][o.e.n.Node               ] [1bITOOv] started
Killed

[2019-05-17T17:13:03,856][INFO ][o.e.h.n.Netty4HttpServerTransport] [1bITOOv] publish_address {127.0.0.1:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}
[2019-05-17T17:13:03,856][INFO ][o.e.n.Node               ] [1bITOOv] started
[2019-05-17T17:13:07,019][INFO ][o.e.x.m.p.NativeController] [1bITOOv] Native controller process has stopped - no new native processes can be started
Killed

[2019-05-17T17:18:38,043][INFO ][o.e.n.Node               ] [1bITOOv] started
[2019-05-17T17:18:39,531][WARN ][o.e.x.s.a.s.m.NativeRoleMappingStore] [1bITOOv] Failed to clear cache for realms [[]]
[2019-05-17T17:18:39,588][INFO ][o.e.l.LicenseService     ] [1bITOOv] license [0425af20-3e7a-40df-95a3-f916cdd95fb9] mode [basic] - valid
[2019-05-17T17:18:39,597][INFO ][o.e.g.GatewayService     ] [1bITOOv] recovered [34] indices into cluster_state
Killed

など様々な箇所でkillされてしまいます。

起動時のログの上部を見ると、怪しそうなのは、このあたりなのですが、何が問題なのかご教示いただけませんでしょうか。

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

max number of threads [1024] for user [---------] is too low, increase to at least [4096]

Comments

[1T2R3M4]

https://discuss.elastic.co/t/kill/181541

Answer 1

エラー内容から推察するにファイルディスクリプタの制限に引っかかっているようです。
limit.confを適宜変更してい改善が見込めるか確認してください。
「limit.conf ファイルディスクリプタ」で検索すれば期待したサイトが見つけられると思います。

Comments

[masahiro_shio]

ありがとうございます。

limit.conf編集権限に引っかかってしまいましたので、確認の後にまた回答させていただきます。

[masahiro_shio]

ご回答ありがとうございました。
無事、稼働させることができました。

Answer 2

journalctl -u elasticsearch

では何が表示されますでしょうか。

Comments

[masahiro_shio]

ご回答ありがとうございます。
このようなレスが返ってきました。
```
$ journalctl -u elasticsearch
-bash: journalctl: command not found
```

centOS6.9では下記コマンドでは？というサイトを見かけたので下記も試してみました。

```
$ cat /var/log/elasticsearch
cat: /var/log/elasticsearch: No such file or directory
```

[waku_nagoya]

失礼いたしました CentOS6 でしたね。

Elasticsearch は Docker で動かしていますか？

[waku_nagoya]

エラーメッセージからすると Docker の 最大ファイル数のリミットにひっかかっていそうです。
https://elk-docker.readthedocs.io/#overriding-variables

Docker 起動時のオプションに　MAX_OPEN_FILES を追加して 65536 にしてみてください。

[masahiro_shio]

ありがとうございます。

limit.conf編集権限に引っかかってしまいましたので、確認の後にまた回答させていただきます。

[masahiro_shio]

ご回答ありがとうございました。
無事、稼働させることができました。