サーバのディスク容量不足によるエラーが起こっている

前提・実現したいこと

朝起きたら、サーバからエラーが返って来ていました。
前日にコードの修正はしていましたが、大きな影響を及ぼすことがあるか検討つきません。
ログが大量に発生してこのようなことは起きますでしょうか。
解決策や調査方法を教えてほしいです。

発生している問題・エラーメッセージ

["storage":"ArrayObject":private] => array(3) {
    ["exception"] => object(Zend_Db_Statement_Exception)#80 (8) {
      ["_previous":"Zend_Exception":private] => NULL
      ["message":protected] => string(150) "SQLSTATE[HY000]: General error: 1021 Disk full (/tmp/#sql_2dec_1.MAI); waiting for someone to free some space... (errno: 28 "No space left on device")"
      ["string":"Exception":private] => string(4514) "PDOException: SQLSTATE[HY000]: General error: 1021 Disk full (/tmp/#sql_2dec_1.MAI); waiting for someone to free some space... (errno: 28 "No space left on device") in /var/www/hicra/library/Zend/Db/Statement/Pdo.php:228

試したこと

df -h
を試したらところ

ファイルシスサイズ使用残り使用% マウント位置
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 8.6M 3.9G 1% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/vda3 36G 5.0G 29G 15% /
tmpfs 799M 0 799M 0% /run/user/1000
tmpfs 799M 0 799M 0% /run/user/0

このように表示されています。
サーバの容量がいっぱいかと思い、ディスク容量を増やしてみましたが効果はありませんでした。
試すべきことを教えてほしいです。

補足情報（FW/ツールのバージョンなど）

さくらクラウドを利用しています。
フレームワークはZend Frameworkです。

行動規範の内容に同意します

回答2件

ディスク容量に空きがあってもinodeで管理できるファイル数の上限になると書き込みできなくなりますので、容量だけでなくファイル数も確認してみてください。

投稿2021/02/05 01:44

yukky1201

総合スコア2751

super2baba

2021/02/05 01:54

ありがとうございます。問題はDBの容量がいっぱいになっていたことでしたが、ファイル数の上限があるのは知らなかったです。ユーザによるファイルアップロードもあるので、今後はそれのチェックもできる機構を用意したいと思います。

行動規範の内容に同意します

ベストアンサー

/tmpの容量がいっぱいなのでしょう。
/tmpのサイズを確認してみてください。

もしこれが原因であれば、あとは/tmp linux 容量とかでググったら、色々出てきますよ。

投稿2021/02/05 01:20

hiok

総合スコア590

super2baba

2021/02/05 01:33

ありがとうございます。アドバイスの通り調べてみると、データベースサーバの容量がいっぱいになっていたようで、データベースからエラーが返ってきていたみたいです。

hiok

2021/02/05 01:44

ベストアンサーはありがたいのですが、もし原因が「/tmpの容量オーバー」ではないのでしたら、「データベースサーバーの容量」の部分をもう少し具体的に記載いただいた方が、今後同じ現象に出くわした方にとって有益となります。

super2baba

2021/02/05 01:50

そうですよね。初めてで勝手が分からずすみません。容量というキーワードから、データベースの容量ではという記事を見つけました。データベースの方のエラーログを見ると、 [Warning] mysqld: Disk is full writing '/tmp/#sql_2dec_0.MAI' (Errcode: 28 "No space left on device"). Waiting for someone to free space... (Expect up to 60 secs delay for server to continue after freeing disk space) [Warning] mysqld: Retry in 60 secs. Message reprinted in 600 secs [ERROR] mysqld: Disk full (/tmp/#sql_2dec_1.MAI); waiting for someone to free some space... (errno: 28 "No space left on device") と出ておりました。最初に書かせていただいたエラーと同じ内容だと思います。そこから、サーバのディスク容量のエラーではなく、DBのディスク容量が足りないということだと考えました。一旦、バックアップの一番古いものを削除したところ、エラーが消えて正常に戻りました。おそらくデータベース全体の容量が不足してきていたということだと思います。事前にエラーがSlackなどに通知を飛ばすようにすることを怠っていたのが良くなかったと思います。