WordPressで発生した「No space left on device」に対応

2022/05/29

CloudWatch Logsメトリクスフィルターで「No space left on device」を検知

前回、WordPressにアクセスできなくなったときに、Nginxのエラーログに「write() to “/var/log/nginx/access.log” failed (28: No space left on device) while logging request」とエラーが出力されていました。
ディスク容量がなくなってアクセスできなくなったようです。

CloudWatch Logsのメトリクスフィルターで「No space left on device」文字列を検知してアラームからSNSでメール送信するように設定していました。

そしてアラームが届きましたので、逼迫しているディレクトリを確認しました。

Amazon Linux2で逼迫しているディレクトリを確認

AMIから起動したてのEC2インスタンスと比較してみました。

状況の確認(df)

まず状況を確認しました。

障害発生インスタンス

$ df -h
ファイルシス   サイズ  使用  残り 使用% マウント位置
devtmpfs         462M     0  462M    0% /dev
tmpfs            479M     0  479M    0% /dev/shm
tmpfs            479M   55M  424M   12% /run
tmpfs            479M     0  479M    0% /sys/fs/cgroup
/dev/nvme0n1p1   8.0G  8.0G   20K  100% /
tmpfs             96M     0   96M    0% /run/user/1000

$ df -h

ファイルシスサイズ使用残り使用% マウント位置

devtmpfs 462M 0 462M 0% /dev

tmpfs 479M 0 479M 0% /dev/shm

tmpfs 479M 55M 424M 12% /run

tmpfs 479M 0 479M 0% /sys/fs/cgroup

/dev/nvme0n1p1 8.0G 8.0G 20K 100% /

tmpfs 96M 0 96M 0% /run/user/1000

起動したてのインスタンス

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        462M     0  462M   0% /dev
tmpfs           479M     0  479M   0% /dev/shm
tmpfs           479M  352K  478M   1% /run
tmpfs           479M     0  479M   0% /sys/fs/cgroup
/dev/nvme0n1p1  8.0G  5.2G  2.8G  66% /

$ df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 462M 0 462M 0% /dev

tmpfs 479M 0 479M 0% /dev/shm

tmpfs 479M 352K 478M 1% /run

tmpfs 479M 0 479M 0% /sys/fs/cgroup

/dev/nvme0n1p1 8.0G 5.2G 2.8G 66% /

EBSボリュームで設定している8GBを100%利用していました。

ディレクトリごとに確認(du)

次にディレクトリごとに確認してみました。

障害発生インスタンス

$ sudo du -h -d 1 | sort -h
du: `./proc/21549/task/21549/fd/3' にアクセスできません: No such file or directory
du: `./proc/21549/task/21549/fdinfo/3' にアクセスできません: No such file or directory
du: `./proc/21549/fd/4' にアクセスできません: No such file or directory
du: `./proc/21549/fdinfo/4' にアクセスできません: No such file or directory
0   ./dev
0   ./local
0   ./media
0   ./mnt
0   ./proc
0   ./srv
0   ./sys
0   ./tmp
80K ./root
32M ./etc
55M ./run
87M ./home
126M    ./boot
206M    ./opt
2.0G    ./var
4.7G    ./usr
7.6G    .

$ sudo du -h -d 1 | sort -h

du: `./proc/21549/task/21549/fd/3' にアクセスできません: No such file or directory

du: `./proc/21549/task/21549/fdinfo/3' にアクセスできません: No such file or directory

du: `./proc/21549/fd/4' にアクセスできません: No such file or directory

du: `./proc/21549/fdinfo/4' にアクセスできません: No such file or directory

0 ./dev

0 ./local

0 ./media

0 ./mnt

0 ./proc

0 ./srv

0 ./sys

0 ./tmp

80K ./root

32M ./etc

55M ./run

87M ./home

126M ./boot

206M ./opt

2.0G ./var

4.7G ./usr

7.6G .

起動したてのインスタンス

$ sudo du -h -d 1 | sort -h
du: cannot access ‘./proc/22306/task/22306/fd/3’: No such file or directory
du: cannot access ‘./proc/22306/task/22306/fdinfo/3’: No such file or directory
du: cannot access ‘./proc/22306/fd/4’: No such file or directory
du: cannot access ‘./proc/22306/fdinfo/4’: No such file or directory
0       ./dev
0       ./local
0       ./media
0       ./mnt
0       ./proc
0       ./srv
0       ./sys
0       ./tmp
80K     ./root
408K    ./run
32M     ./etc
87M     ./home
125M    ./boot
206M    ./opt
1.9G    ./var
2.2G    ./usr
5.0G    .