ヤマムギ

growing hard days.

*

AWS EC2 インスタンスステータスのチェックで失敗して起動しなくなり復旧

   


oom

EC2のインスタンスに接続出来なくなったので、AMIから作成してElastic IPを紐付けなおして復旧しました。

当サイトに接続出来なくなっていた

記事をメンテナンスしようとブラウザで更新、iPhoneからも同様。
SSHも接続出来ず。

AWSコンソールで確認

とりあえず、インスタンスの再起動を試みるが無反応、なので、停止する。
5分ほど時間がかかって停止完了、そして起動。
状態がrunningになってからステータスチェックが長くて少し心配になってきたぐらいに、システムステータスが合格で完了。
そこから少し待ってみてもインスタンスステータスが「初期化しています」から変わらない。

並行してAMIからインスタンス作成開始

仕方がないのでバックアップとして作成していたAMIから新規インスタンスを作成。
Dropboxにバックアップしていた昨日のファイルバックアップをリストア。
※データベースはRDSで問題なく稼働しているのでそのまま使用。

元のインスタンスはインスタンスステータスチェックで失敗していたので、停止してIPアドレスを外す。
新規作成したインスタンスにIPアドレスを紐付けて起動して、とりあえず復旧。

原因確認を試みるも

「システムログの取得」をしても停止してしまったので何も情報は得られず。
公式サイトの情報を見て、インスタンスタイプを変更して起動したらステータスチェックに合格して起動成功。

うーん。t2.microでしたので、メモリの枯渇ですかね。
今日は特にセッション数がいつもの倍ぐらいになってましたし。

新規作成して稼働しているインスタンスもt2.microで作ったので心配になってTOPコマンドを眺める事にする。
なんだか目が離せなくて不安なので、t2.smallに変更して様子を見る事にします。

top

こういう経験がしたくてAWSに移設したのですから望むところです。

課題

  • ロードバランサーを構築する。
  • ステータスチェックや他要因によって無応答になった際に、AMIから作成して直近のDropboxのバックアップをリストアして、起動するという自動復旧プログラムを作りたい。
@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITトレーナー1年目のSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

 - AWS ,

ad

ad

  関連記事

SendGridのイベントをAPI Gateway -> Lambda(Python) -> DynamoDBに格納する

SendGridのメールイベントログはコンソールで確認出来るのは直近7日分で一括 …

AWSのAmazon LinuxにGitマスターサーバをインストールしてRedmineリポジトリブラウザで見る

Amazon LinuxにGitをインストールする Gitをインストールして自動 …

「関西AWSスタートアップ勉強会」に行ってきました

第2回 関西スタートアップAWS勉強会に行ってきました。 akippa 拠点数コ …

Feedlyのフィードを自動でSlackへ投稿する(AWS Lambda , Amazon DynamoDB)

やりたいこと Feedlyで共有したいフィードに特定のタグを付けます。 特定のタ …

AWS Toolkit for Eclipseをセットアップする

AWSでそろそろ課金がされつつありますので、夜中はインスタンスを自動停止して朝自 …

PyCharmにAWS CloudFormationプラグインをインストールして入力補完してみる

JetBrainsのPython統合開発環境(IDE)のPyCharmを1年ちょ …

AWS Summit 2016 Tokyoに参加してきました (Day2)

馬込は非常に良い天気です。 泊まっている部屋が2Fでしたので窓を明けると歩いてい …

Redmineの添付ファイルをS3に同期する

RedmineをAWS上で構築するデザインを考えていて、せっかくなので冗長化しよ …

API GatewayのアクセスログをCloudWatchに記録する

Amazon API GatewayのアクセスログをCloudWatchに記録で …

webフォームからの問い合わせをRedmineに自動登録して対応状況を管理する(API Gateway + Lambda)

先日、検証目的で作成したRedmineの冗長化の一機能として、webフォームから …