WordPressで発生した「No space left on device」に対応
目次
CloudWatch Logsメトリクスフィルターで「No space left on device」を検知
前回、WordPressにアクセスできなくなったときに、Nginxのエラーログに「write() to “/var/log/nginx/access.log” failed (28: No space left on device) while logging request」とエラーが出力されていました。
ディスク容量がなくなってアクセスできなくなったようです。
CloudWatch Logsのメトリクスフィルターで「No space left on device」文字列を検知してアラームからSNSでメール送信するように設定していました。
そしてアラームが届きましたので、逼迫しているディレクトリを確認しました。
Amazon Linux2で逼迫しているディレクトリを確認
AMIから起動したてのEC2インスタンスと比較してみました。
状況の確認(df)
まず状況を確認しました。
- 障害発生インスタンス
1 2 3 4 5 6 7 8 9 |
$ df -h ファイルシス サイズ 使用 残り 使用% マウント位置 devtmpfs 462M 0 462M 0% /dev tmpfs 479M 0 479M 0% /dev/shm tmpfs 479M 55M 424M 12% /run tmpfs 479M 0 479M 0% /sys/fs/cgroup /dev/nvme0n1p1 8.0G 8.0G 20K 100% / tmpfs 96M 0 96M 0% /run/user/1000 |
- 起動したてのインスタンス
1 2 3 4 5 6 7 8 |
$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 462M 0 462M 0% /dev tmpfs 479M 0 479M 0% /dev/shm tmpfs 479M 352K 478M 1% /run tmpfs 479M 0 479M 0% /sys/fs/cgroup /dev/nvme0n1p1 8.0G 5.2G 2.8G 66% / |
EBSボリュームで設定している8GBを100%利用していました。
ディレクトリごとに確認(du)
次にディレクトリごとに確認してみました。
- 障害発生インスタンス
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
$ sudo du -h -d 1 | sort -h du: `./proc/21549/task/21549/fd/3' にアクセスできません: No such file or directory du: `./proc/21549/task/21549/fdinfo/3' にアクセスできません: No such file or directory du: `./proc/21549/fd/4' にアクセスできません: No such file or directory du: `./proc/21549/fdinfo/4' にアクセスできません: No such file or directory 0 ./dev 0 ./local 0 ./media 0 ./mnt 0 ./proc 0 ./srv 0 ./sys 0 ./tmp 80K ./root 32M ./etc 55M ./run 87M ./home 126M ./boot 206M ./opt 2.0G ./var 4.7G ./usr 7.6G . |
- 起動したてのインスタンス
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
$ sudo du -h -d 1 | sort -h du: cannot access ‘./proc/22306/task/22306/fd/3’: No such file or directory du: cannot access ‘./proc/22306/task/22306/fdinfo/3’: No such file or directory du: cannot access ‘./proc/22306/fd/4’: No such file or directory du: cannot access ‘./proc/22306/fdinfo/4’: No such file or directory 0 ./dev 0 ./local 0 ./media 0 ./mnt 0 ./proc 0 ./srv 0 ./sys 0 ./tmp 80K ./root 408K ./run 32M ./etc 87M ./home 125M ./boot 206M ./opt 1.9G ./var 2.2G ./usr 5.0G . |
/usrディレクトリでした。
- 障害発生インスタンス
3.3G /usr/share/nginx -
起動したてのインスタンス
777M /usr/share/nginx
ということはNginxが使用しているディレクトリだろうと想定できました。
そしてディレクトリを調べていきましたところ、cacheディレクトリのデータで逼迫されていることがわかりました。
ElastiCache Memcachedを使用
W3 Total Cacheプラグインを使用しています。
WordPress W3 Total Cache のDatabaseCacheをAmazon ElastiCacheのmemcachedに格納する
以前設定して、コストとのトレードオフでやめてたのですが、検証目的でまた再開することにしました。
キャッシュの保存先をMemcachedにしてみて、状況を確認してみます。
最後までお読みいただきましてありがとうございました!
【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。
【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。
【PR】 「ポケットスタディ AWS認定 デベロッパーアソシエイト」という本を書きました。
【PR】 「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル」という本を書きました。

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
-
ある意味マネジメントコンソールで生成された署名付きURL
マネジメントコンソールにS3オブジェクトの[開く]というボタンがいつのまにか出来 …
-
-
AWS Transit Gateway Network ManagerにTransit Gatewayを登録してルートアナライザーで確認
グローバルネットワークの作成 VPC左ペインのメニュー Transit Gate …
-
-
AWS Personal Health Dashboardのパブリックイベントの記録
東京リージョンで発生したので、スクリーンショットを取っておいたので記録しておきま …
-
-
S3署名付きURL(GetObject)生成後にオブジェクトを上書きアップロードしたら
ダウンロードリクエストを実行したタイミングのオブジェクトがダウンロードされるので …
-
-
Amazon Location Service入門ワークショップ-ルート計算
Amazon Location Service入門ワークショップのアプリで、ルー …
-
-
ヤマムギ vol.9 (AWS)EC2からAWS CLIコマンドを実行してみようハンズオン 手順
このブログは2020/5/5に開催しました、「ヤマムギ vol.9 (AWS)E …
-
-
S3 過去のオブジェクトバージョンをコピーしてロールバックしました
バージョニングを有効にしているS3バケットで、オブジェクトを以前のバージョンに戻 …
-
-
Amazon Aurora Serverless 課金確認
Amazon Aurora Serverlessを使い始めてみましたの記事で書い …
-
-
AWS Summit 2016 Tokyoに参加してきました (前日 ~ Day1)
AWS Summit 2016 Tokyoにて、セッション聴講、ブース展示拝見、 …
-
-
AlexaにAWSの最新Feedを読み上げてもらう(Lambda Python)
年末にAmazon Echo Dotを購入しましたので、練習がてらAlexaスキ …