WordPressで発生した「No space left on device」に対応
目次
CloudWatch Logsメトリクスフィルターで「No space left on device」を検知
前回、WordPressにアクセスできなくなったときに、Nginxのエラーログに「write() to “/var/log/nginx/access.log” failed (28: No space left on device) while logging request」とエラーが出力されていました。
ディスク容量がなくなってアクセスできなくなったようです。
CloudWatch Logsのメトリクスフィルターで「No space left on device」文字列を検知してアラームからSNSでメール送信するように設定していました。
そしてアラームが届きましたので、逼迫しているディレクトリを確認しました。
Amazon Linux2で逼迫しているディレクトリを確認
AMIから起動したてのEC2インスタンスと比較してみました。
状況の確認(df)
まず状況を確認しました。
- 障害発生インスタンス
1 2 3 4 5 6 7 8 9 |
$ df -h ファイルシス サイズ 使用 残り 使用% マウント位置 devtmpfs 462M 0 462M 0% /dev tmpfs 479M 0 479M 0% /dev/shm tmpfs 479M 55M 424M 12% /run tmpfs 479M 0 479M 0% /sys/fs/cgroup /dev/nvme0n1p1 8.0G 8.0G 20K 100% / tmpfs 96M 0 96M 0% /run/user/1000 |
- 起動したてのインスタンス
1 2 3 4 5 6 7 8 |
$ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 462M 0 462M 0% /dev tmpfs 479M 0 479M 0% /dev/shm tmpfs 479M 352K 478M 1% /run tmpfs 479M 0 479M 0% /sys/fs/cgroup /dev/nvme0n1p1 8.0G 5.2G 2.8G 66% / |
EBSボリュームで設定している8GBを100%利用していました。
ディレクトリごとに確認(du)
次にディレクトリごとに確認してみました。
- 障害発生インスタンス
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
$ sudo du -h -d 1 | sort -h du: `./proc/21549/task/21549/fd/3' にアクセスできません: No such file or directory du: `./proc/21549/task/21549/fdinfo/3' にアクセスできません: No such file or directory du: `./proc/21549/fd/4' にアクセスできません: No such file or directory du: `./proc/21549/fdinfo/4' にアクセスできません: No such file or directory 0 ./dev 0 ./local 0 ./media 0 ./mnt 0 ./proc 0 ./srv 0 ./sys 0 ./tmp 80K ./root 32M ./etc 55M ./run 87M ./home 126M ./boot 206M ./opt 2.0G ./var 4.7G ./usr 7.6G . |
- 起動したてのインスタンス
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
$ sudo du -h -d 1 | sort -h du: cannot access ‘./proc/22306/task/22306/fd/3’: No such file or directory du: cannot access ‘./proc/22306/task/22306/fdinfo/3’: No such file or directory du: cannot access ‘./proc/22306/fd/4’: No such file or directory du: cannot access ‘./proc/22306/fdinfo/4’: No such file or directory 0 ./dev 0 ./local 0 ./media 0 ./mnt 0 ./proc 0 ./srv 0 ./sys 0 ./tmp 80K ./root 408K ./run 32M ./etc 87M ./home 125M ./boot 206M ./opt 1.9G ./var 2.2G ./usr 5.0G . |
/usrディレクトリでした。
- 障害発生インスタンス
3.3G /usr/share/nginx -
起動したてのインスタンス
777M /usr/share/nginx
ということはNginxが使用しているディレクトリだろうと想定できました。
そしてディレクトリを調べていきましたところ、cacheディレクトリのデータで逼迫されていることがわかりました。
ElastiCache Memcachedを使用
W3 Total Cacheプラグインを使用しています。
WordPress W3 Total Cache のDatabaseCacheをAmazon ElastiCacheのmemcachedに格納する
以前設定して、コストとのトレードオフでやめてたのですが、検証目的でまた再開することにしました。
キャッシュの保存先をMemcachedにしてみて、状況を確認してみます。
最後までお読みいただきましてありがとうございました!
「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。
「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。
「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。
「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。
「AWSではじめるLinux入門ガイド」という本を書きました。
開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。
このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。
また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。
ad
ad
関連記事
-
RocketChat(EC2インスタンス)でCPU80%以上を10分間継続したら再起動する
先日、数日間のやり取り用で完全に使い捨てとして使っているRocketChatで、 …
-
AWS Expert Online at JAWS-UG首都圏エリアに参加して「Amazon EC2 スポットインスタンス再入門」を聞いてきた
AWS Expert Onlineという勉強会がありまして、AWS ソリューショ …
-
AWS CDK とにかくサンプルでやってみる
Cloud9でAWS CDK環境で作った環境でサンプルプロジェクトからのデプロイ …
-
ブラウザからJavaScript SDKを使ってAmazon S3 への写真のアップロードチュートリアルをやってみました
ブラウザから Amazon S3 への写真のアップロードをやってみました。 HT …
-
Amazon EC2 Auto ScalingのVPCは変更できる
EC2 Auto ScalingのVPCは変更できたっけ??と思いまして試しまし …
-
AWS CLIを使用せずにCodeCommitへhttpsで接続する
AWS CLIやアクセスキーID、シークレットアクセスキーなどを開発環境にセット …
-
Amazon API GatewayのIAM認証の動作を確認しました
API GatewayのIAM認証は、IAMユーザーが実行できるように認証する、 …
-
EKS「現在の IAM プリンシパルは、このクラスター上の Kubernetes オブジェクトにアクセスできません」
マネジメントコンソールでクラスターのオブジェクトを見ようと、リソースの名前空間や …
-
S3 Intelligent-Tieringで高頻度階層(FREQUENT)に戻る「アクセス」にS3 SelectとGlueクローラーが該当するのか確認してみました
ユーザーガイドのS3 Intelligent-Tiering のしくみには、「低 …
-
AWS 認定クラウドプラクティショナーのサンプル問題
AWS認定クラウドプラクティショナのサンプル問題2018年9月25日現在で、英語 …