AWS EC2 インスタンスステータスのチェックで失敗して起動しなくなり復旧

Tweet

EC2のインスタンスに接続出来なくなったので、AMIから作成してElastic IPを紐付けなおして復旧しました。

当サイトに接続出来なくなっていた

記事をメンテナンスしようとブラウザで更新、iPhoneからも同様。
SSHも接続出来ず。

AWSコンソールで確認

とりあえず、インスタンスの再起動を試みるが無反応、なので、停止する。
5分ほど時間がかかって停止完了、そして起動。
状態がrunningになってからステータスチェックが長くて少し心配になってきたぐらいに、システムステータスが合格で完了。
そこから少し待ってみてもインスタンスステータスが「初期化しています」から変わらない。

並行してAMIからインスタンス作成開始

仕方がないのでバックアップとして作成していたAMIから新規インスタンスを作成。
Dropboxにバックアップしていた昨日のファイルバックアップをリストア。
※データベースはRDSで問題なく稼働しているのでそのまま使用。

元のインスタンスはインスタンスステータスチェックで失敗していたので、停止してIPアドレスを外す。
新規作成したインスタンスにIPアドレスを紐付けて起動して、とりあえず復旧。

原因確認を試みるも

「システムログの取得」をしても停止してしまったので何も情報は得られず。
公式サイトの情報を見て、インスタンスタイプを変更して起動したらステータスチェックに合格して起動成功。

うーん。t2.microでしたので、メモリの枯渇ですかね。
今日は特にセッション数がいつもの倍ぐらいになってましたし。

新規作成して稼働しているインスタンスもt2.microで作ったので心配になってTOPコマンドを眺める事にする。
なんだか目が離せなくて不安なので、t2.smallに変更して様子を見る事にします。

こういう経験がしたくてAWSに移設したのですから望むところです。

課題

• ロードバランサーを構築する。
• ステータスチェックや他要因によって無応答になった際に、AMIから作成して直近のDropboxのバックアップをリストアして、起動するという自動復旧プログラムを作りたい。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITトレーナー2年目のSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。