WordPressで発生した「No space left on device」に対応
目次
CloudWatch Logsメトリクスフィルターで「No space left on device」を検知
前回、WordPressにアクセスできなくなったときに、Nginxのエラーログに「write() to “/var/log/nginx/access.log” failed (28: No space left on device) while logging request」とエラーが出力されていました。
ディスク容量がなくなってアクセスできなくなったようです。
CloudWatch Logsのメトリクスフィルターで「No space left on device」文字列を検知してアラームからSNSでメール送信するように設定していました。
そしてアラームが届きましたので、逼迫しているディレクトリを確認しました。
Amazon Linux2で逼迫しているディレクトリを確認
AMIから起動したてのEC2インスタンスと比較してみました。
状況の確認(df)
まず状況を確認しました。
- 障害発生インスタンス
1 2 3 4 5 6 7 8 9 |
$ df -h ファイルシス サイズ 使用 残り 使用% マウント位置 devtmpfs 462M 0 462M 0% /dev tmpfs 479M 0 479M 0% /dev/shm tmpfs 479M 55M 424M 12% /run tmpfs 479M 0 479M 0% /sys/fs/cgroup /dev/nvme0n1p1 8.0G 8.0G 20K 100% / tmpfs 96M 0 96M 0% /run/user/1000 |
- 起動したてのインスタンス
1 2 3 4 5 6 7 8 |
$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 462M 0 462M 0% /dev tmpfs 479M 0 479M 0% /dev/shm tmpfs 479M 352K 478M 1% /run tmpfs 479M 0 479M 0% /sys/fs/cgroup /dev/nvme0n1p1 8.0G 5.2G 2.8G 66% / |
EBSボリュームで設定している8GBを100%利用していました。
ディレクトリごとに確認(du)
次にディレクトリごとに確認してみました。
- 障害発生インスタンス
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
$ sudo du -h -d 1 | sort -h du: `./proc/21549/task/21549/fd/3' にアクセスできません: No such file or directory du: `./proc/21549/task/21549/fdinfo/3' にアクセスできません: No such file or directory du: `./proc/21549/fd/4' にアクセスできません: No such file or directory du: `./proc/21549/fdinfo/4' にアクセスできません: No such file or directory 0 ./dev 0 ./local 0 ./media 0 ./mnt 0 ./proc 0 ./srv 0 ./sys 0 ./tmp 80K ./root 32M ./etc 55M ./run 87M ./home 126M ./boot 206M ./opt 2.0G ./var 4.7G ./usr 7.6G . |
- 起動したてのインスタンス
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
$ sudo du -h -d 1 | sort -h du: cannot access ‘./proc/22306/task/22306/fd/3’: No such file or directory du: cannot access ‘./proc/22306/task/22306/fdinfo/3’: No such file or directory du: cannot access ‘./proc/22306/fd/4’: No such file or directory du: cannot access ‘./proc/22306/fdinfo/4’: No such file or directory 0 ./dev 0 ./local 0 ./media 0 ./mnt 0 ./proc 0 ./srv 0 ./sys 0 ./tmp 80K ./root 408K ./run 32M ./etc 87M ./home 125M ./boot 206M ./opt 1.9G ./var 2.2G ./usr 5.0G . |
/usrディレクトリでした。
- 障害発生インスタンス
3.3G /usr/share/nginx -
起動したてのインスタンス
777M /usr/share/nginx
ということはNginxが使用しているディレクトリだろうと想定できました。
そしてディレクトリを調べていきましたところ、cacheディレクトリのデータで逼迫されていることがわかりました。
ElastiCache Memcachedを使用
W3 Total Cacheプラグインを使用しています。
WordPress W3 Total Cache のDatabaseCacheをAmazon ElastiCacheのmemcachedに格納する
以前設定して、コストとのトレードオフでやめてたのですが、検証目的でまた再開することにしました。
キャッシュの保存先をMemcachedにしてみて、状況を確認してみます。
最後までお読みいただきましてありがとうございました!
【PR】 「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。
【PR】 「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第2版」という本を書きました。
【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。
【PR】 「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。
【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
AWSアカウントでルートユーザーが使用されたときにTeamsへ投稿する
Organizations組織内のアカウントのいずれかでルートユーザーが使用され …
-
-
Amazon Linux にnodejsとmongoDBをインストールする
EPEL リポジトリを利用してnodejsとnpmをインストールする [bash …
-
-
AWS Client VPNを設定しました
ユーザーガイドのクライアント VPN の開始方法に沿ってやりました。 AWSクラ …
-
-
Amazon Location Service入門ワークショップ-ジオコーディング
ジオコーディングにより住所を緯度経度に変換したり、逆に緯度経度から住所を求めたり …
-
-
webフォームからの問い合わせをRedmineに自動登録して対応状況を管理する(API Gateway + Lambda)
先日、検証目的で作成したRedmineの冗長化の一機能として、webフォームから …
-
-
Introduction to Amazon EKS Workshopの記録
AWS Workshop StudioのIntroduction to Amaz …
-
-
AWS Elastic Beanstalkによって作成されたS3バケットはDeleteBucketが拒否されていた
ちょっとした検証をしたあとに、Elastic Beanstalkのアプリケーショ …
-
-
API GatewayからLambdaを介さずにSNSトピックへ送信
やりたいこと APIリクエストをまずLambdaで受けて、SNSトピックへ送信す …
-
-
CUSTOMINEを使ってkintoneからAWS Lambdaを実行する(Cognito認証付き)
先日の記事「kintoneのカスタマイズ開発を超速にするCUSTOMINE」で書 …
-
-
Amazon SESの受信ルールでSNSトピックを追加
SESの受信ルールにSNSトピックを設定してみました。 [View Active …