growing hard days.

RocketChat(EC2インスタンス)でCPU80%以上を10分間継続したら再起動する

2020/06/21 2020/06/28

先日、数日間のやり取り用で完全に使い捨てとして使っているRocketChatで、CPUが30分ぐらい高騰して誰もアクセスできなくなっていました。
とりあえず再起動して復旧しました。

ユーザー数やアクセス数が変動するわけでもなく、処理量が大きく変動するわけでもないので、オートスケーリングよりもオートヒーリングやオートリカバリーが適当かと考えます。

頻発するなら、CPUが高騰した原因の調査も、と思いましたが、まだ1回発生しただけなので、次回発生時以降に調査しようかと思います。

そこで、次回発生時に今回のように30分以上も放置とはしたくないので、とりあえず10分間継続していれば再起動することにしました。

発生時のCPU使用率を見てると、一定期間内に多少上下はしているようですので、80%超過が10分間継続した場合としました。
(5分間隔のメトリクスで2データポイントとも80%越え)

アクションは再起動としました。

検証確認のため、CloudWatch Eventsに以下のイベントも設定しました。

{
  "source": [
    "aws.cloudwatch"
  ],
  "detail-type": [
    "CloudWatch Alarm State Change"
  ],
  "resources": [
    "arn:aws:cloudwatch:us-east-1:123456789012:alarm:RocketChatReboot"
  ],
  "detail": {
    "state": {
      "value": [
        "ALARM"
      ]
    }
  }
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

{

"source": [

"aws.cloudwatch"

],

"detail-type": [

"CloudWatch Alarm State Change"

],

"resources": [

"arn:aws:cloudwatch:us-east-1:123456789012:alarm:RocketChatReboot"

],

"detail": {

"state": {

"value": [

"ALARM"

]

}

}

}

今回の障害時にその間RocketChat APIに投稿データを投げてた分が、SQSデッドレターキューに退避されてて、それを復旧後にリトライして、RocketChatへ無事投稿したのですが、これも自動化したいなと思いまして。

ですので、CloudWatch EventsからStep Functionsを起動して、EC2再起動が無事完了して、APIにPOSTできる状態で、Lambdaのトリガーでデッドレターキュー側を有効にしようか、と考えてます。

それは次回発生後で。

最後までお読みいただきましてありがとうございました！

【PR】「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】「AWSではじめるLinux入門ガイド」という本を書きました。

i

【PR】「ポケットスタディ AWS認定デベロッパーアソシエイト」という本を書きました。

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター3年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, cloudwatch, EC2

Tweet

関連記事

: API GatewayからLambdaを介さずにSNSトピックへ送信

やりたいこと APIリクエストをまずLambdaで受けて、SNSトピックへ送信す …

: 特定のIAMロールをLambda(Python)で削除する

やりたいこと特定アカウントの特定の名前が含まれるIAMロールをまとめて削除した …

: PyCharmにAWS CloudFormationプラグインをインストールして入力補完してみる

JetBrainsのPython統合開発環境(IDE)のPyCharmを1年ちょ …

: AWS EC2 Amazon Linux にEC-CUBE3をnginx+MySql環境へインストール(手順検証中)

EC2インスタンスを作成する少し古い記事で恐縮ですが試したい事があるのでAWS …

: boto3(Python SDK) s3 get_object でバイト範囲を指定する

S3のGetObjectアクションでバイト範囲を指定することができます。それに …

: NGINXで500と502のエラーが実は頻発していたらしい

先日Mackerelで当ブログの外形監視を始めたのですが、500と502のエラー …

: AlexaにAWSの最新Feedを読み上げてもらう(Lambda Python)

年末にAmazon Echo Dotを購入しましたので、練習がてらAlexaスキ …

: JAWS DAYS 2018 「Cost-Driven AWS クラウドアーキテクチャデザインとコスト最適化方法 – Cost-Driven AWS Cloud Architecture Design : The Lean Startup on AWS」を聞きました

以下は、思ったことや気になったことをメモしていますので、必ずしも登壇者の発表内容 …

: AWS DeepLensセットアップの儀

AWS DeepLensのセットアップを開始します。 AWS DeepLensを …

: Elastic BeanstalkでflaskアプリケーションデプロイのチュートリアルをCloud9で

Elastic Beanstalk への flask アプリケーションのデプロイ …

PREV: 暑くなってきたのでPC冷却ファンを導入しました
NEXT: SORACOM plan-DU SIMをSpeed Wi-Fi NEXT W05で使ってみる

NEW POST

: 「AWS認定デベロッパーアソシエイトの試験に出るかもなデモ見せあいっこ(ヤマムギvol.12)」を開催しました

デモ勉強会を開催しました！ 2021/4/7にヤマムギ12回目の勉強会「AWS認 …

: 「JAWS-UG 名古屋 DR対策特集＋LT」で発表しました

2021/3/29の「JAWS-UG 名古屋 DR対策特集＋LT」で「ブログを大 …

: 「Fin-JAWS 第20回〜Go to Fin-JAWS School! 2021〜」で発表しました

2021/3/22の「Fin-JAWS 第20回〜Go to Fin-JAWS …

: JAWS DAYS 2021の思い出(配信とランニング)

JAWS DAYS 2021前夜前日は移動があったので、前夜祭をモバイルで見聞 …

: JAWS DAYSで人生が変わった話

明日はJAWS DAYS 2021です！ JAWS DAYSが変えた私の人生「 …

配信ライブカレンダー

[PR] AWS認定試験対策 AWS クラウドプラクティショナー

[PR] AWSではじめるLinux入門ガイド

[PR] ポケットスタディ AWS認定デベロッパー – アソシエイト

タグ
alexa alexaday2018 alexaday2019 api apigateway AWS CentOS cloud9 cloudwatch devsumi2018 dynamodb EC2 gas git google iam iot iphone Java jaws jaws-ug kintone lambda Linux m1mac mac mac-mini Markdown mint MySQL Pandoc PHP python RDS re:dash Redmine remote rocketchat s3 Silver Twilio windows WordPress yamamugi 勉強会

アーカイブ
アーカイブ

AMAZONアソシエイト

「Amazon.co.jpアソシエイト」または「ヤマムギ」は、Amazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイトプログラムである、Amazonアソシエイト・プログラムの参加者です。