WordPressで発生した「No space left on device」に対応
目次
CloudWatch Logsメトリクスフィルターで「No space left on device」を検知
前回、WordPressにアクセスできなくなったときに、Nginxのエラーログに「write() to “/var/log/nginx/access.log” failed (28: No space left on device) while logging request」とエラーが出力されていました。
ディスク容量がなくなってアクセスできなくなったようです。
CloudWatch Logsのメトリクスフィルターで「No space left on device」文字列を検知してアラームからSNSでメール送信するように設定していました。
そしてアラームが届きましたので、逼迫しているディレクトリを確認しました。
Amazon Linux2で逼迫しているディレクトリを確認
AMIから起動したてのEC2インスタンスと比較してみました。
状況の確認(df)
まず状況を確認しました。
- 障害発生インスタンス
1 2 3 4 5 6 7 8 9 |
$ df -h ファイルシス サイズ 使用 残り 使用% マウント位置 devtmpfs 462M 0 462M 0% /dev tmpfs 479M 0 479M 0% /dev/shm tmpfs 479M 55M 424M 12% /run tmpfs 479M 0 479M 0% /sys/fs/cgroup /dev/nvme0n1p1 8.0G 8.0G 20K 100% / tmpfs 96M 0 96M 0% /run/user/1000 |
- 起動したてのインスタンス
1 2 3 4 5 6 7 8 |
$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 462M 0 462M 0% /dev tmpfs 479M 0 479M 0% /dev/shm tmpfs 479M 352K 478M 1% /run tmpfs 479M 0 479M 0% /sys/fs/cgroup /dev/nvme0n1p1 8.0G 5.2G 2.8G 66% / |
EBSボリュームで設定している8GBを100%利用していました。
ディレクトリごとに確認(du)
次にディレクトリごとに確認してみました。
- 障害発生インスタンス
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
$ sudo du -h -d 1 | sort -h du: `./proc/21549/task/21549/fd/3' にアクセスできません: No such file or directory du: `./proc/21549/task/21549/fdinfo/3' にアクセスできません: No such file or directory du: `./proc/21549/fd/4' にアクセスできません: No such file or directory du: `./proc/21549/fdinfo/4' にアクセスできません: No such file or directory 0 ./dev 0 ./local 0 ./media 0 ./mnt 0 ./proc 0 ./srv 0 ./sys 0 ./tmp 80K ./root 32M ./etc 55M ./run 87M ./home 126M ./boot 206M ./opt 2.0G ./var 4.7G ./usr 7.6G . |
- 起動したてのインスタンス
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
$ sudo du -h -d 1 | sort -h du: cannot access ‘./proc/22306/task/22306/fd/3’: No such file or directory du: cannot access ‘./proc/22306/task/22306/fdinfo/3’: No such file or directory du: cannot access ‘./proc/22306/fd/4’: No such file or directory du: cannot access ‘./proc/22306/fdinfo/4’: No such file or directory 0 ./dev 0 ./local 0 ./media 0 ./mnt 0 ./proc 0 ./srv 0 ./sys 0 ./tmp 80K ./root 408K ./run 32M ./etc 87M ./home 125M ./boot 206M ./opt 1.9G ./var 2.2G ./usr 5.0G . |
/usrディレクトリでした。
- 障害発生インスタンス
3.3G /usr/share/nginx -
起動したてのインスタンス
777M /usr/share/nginx
ということはNginxが使用しているディレクトリだろうと想定できました。
そしてディレクトリを調べていきましたところ、cacheディレクトリのデータで逼迫されていることがわかりました。
ElastiCache Memcachedを使用
W3 Total Cacheプラグインを使用しています。
WordPress W3 Total Cache のDatabaseCacheをAmazon ElastiCacheのmemcachedに格納する
以前設定して、コストとのトレードオフでやめてたのですが、検証目的でまた再開することにしました。
キャッシュの保存先をMemcachedにしてみて、状況を確認してみます。
最後までお読みいただきましてありがとうございました!
【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。
【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。
【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。
【PR】 「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル」という本を書きました。

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター3年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
AWS複数アカウントのリソースをLambda(Python)から一括操作したくて
AWSの複数アカウント(30ちょい)のリソースをまとめて自動処理したくて。 とり …
-
-
AWS KMSのキーポリシーとアイデンティティベースポリシー
AWS KMSのCMKを作成する際に、管理者とキーユーザーを選択することで、以下 …
-
-
AWS CloudFormationでAmazon DynamoDBテーブルを作ってアイテムを追加する
デモ用にDynamoDBテーブルを作って消して、ということをたまにするので、Cl …
-
-
EC2インスタンスの起動で、–cli-input-jsonと–cli-input-yamlを使いました
AWS CloudShellから実行しました。 JSON実行 [crayon-6 …
-
-
Kinesis Data AnalyticsをKinesis Data Streamsに接続してSQL検索する
Amazon Kinesis Data StreamsにTwitter検索データ …
-
-
Amazon WorkSpaces Web Accessを有効化する
仕事がら、Amazon WorkSpacesをディレクトリも含めて一時的にセット …
-
-
新規アカウントでAWS Budgetsの設定をしました
新規で組織を作ってAWS Budgetsを久しぶりに設定しました。 作成してすぐ …
-
-
Intel 82599 VF インターフェイスで拡張ネットワーキングが有効なEC2インスタンスで帯域幅を確認してみました
拡張ネットワーキングが有効なEC2インスタンスとそうではないインスタンスの2セッ …
-
-
WordPressのwp-login.php , xmlrpc.phpへのアクセスをAWS WAFで接続元IPアドレスを制限する
AWS CloudWatch LogsエージェントでAmazon EC2上のNg …
-
-
kintoneで設定したスケジュールにあわせてlambda(python)からSQSへメッセージを送る
EC2の起動停止をそろそろ手動でやるのも疲れてきそうなのと、やはり停止するのを忘 …