「Amazon EKS Workshop」の環境準備とクラスター作成

2024/07/16

今はアーカイブになっている1つ前のEKS Workshopの環境準備記録です。
こちらのワークショップパターンがいろいろあるので好きです。
そのうちページがなくなるかもですので、残せるものは残しておきたいと思います。

Cloud9環境

以下の設定で構築しました。
* EC2
* Amazon Linux2023
* t3.small
* 接続: SSM

ツールのインストール

kubectlのインストール

sudo curl --silent --location -o /usr/local/bin/kubectl \
https://s3.us-west-2.amazonaws.com/amazon-eks/1.21.5/2022-01-21/bin/linux/amd64/kubectl

sudo chmod +x /usr/local/bin/kubectl

sudo curl --silent --location -o /usr/local/bin/kubectl \

https://s3.us-west-2.amazonaws.com/amazon-eks/1.21.5/2022-01-21/bin/linux/amd64/kubectl

sudo chmod +x /usr/local/bin/kubectl

awscliのアップデート

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"

unzip awscliv2.zip

sudo ./aws/install

jq、envsubset、bash-completionのインストール

sudo yum -y install jq gettext bash-completion moreutils

1 2	sudo yum -y install jq gettext bash-completion moreutils

yqのインストール

echo 'yq() {
  docker run --rm -i -v "${PWD}":/workdir mikefarah/yq "$@"
}' | tee -a ~/.bashrc && source ~/.bashrc

echo 'yq() {

docker run --rm -i -v "${PWD}":/workdir mikefarah/yq "$@"

}' | tee -a ~/.bashrc && source ~/.bashrc

パスの確認

for command in kubectl jq envsubst aws
  do
    which $command &>/dev/null && echo "$command in path" || echo "$command NOT FOUND"
  done

for command in kubectl jq envsubst aws

which $command &>/dev/null && echo "$command in path" || echo "$command NOT FOUND"

done

正常な出力は以下です

kubectl in path
jq in path
envsubst in path
aws in path

kubectlのbash-completionによる自動補完の有効化

kubectl completion bash >>  ~/.bash_completion
. /etc/profile.d/bash_completion.sh
. ~/.bash_completion

kubectl completion bash >> ~/.bash_completion

. /etc/profile.d/bash_completion.sh

. ~/.bash_completion

AWS Load Balancer Controllerのバージョン固定

echo 'export LBC_VERSION="v2.4.1"' >>  ~/.bash_profile
echo 'export LBC_CHART_VERSION="1.4.1"' >>  ~/.bash_profile
.  ~/.bash_profile

echo 'export LBC_VERSION="v2.4.1"' >> ~/.bash_profile

echo 'export LBC_CHART_VERSION="1.4.1"' >> ~/.bash_profile

. ~/.bash_profile

Cloud9の認証設定

EC2向けのIAMロール作成と設定

Cloud9を実行しているEC2向けのIAMロールを作成しました。
手順に従ってAWS管理ポリシーのAdministratorAccessを許可ポリシーとして設定しました。
Cloud9のEC2に作成したIAMロールを設定しました。

Cloud9デフォルトのManaged Temporary Credentialsを無効化

aws cloud9 update-environment  --environment-id $C9_PID --managed-credentials-action DISABLE
rm -vf ${HOME}/.aws/credentials

aws cloud9 update-environment --environment-id $C9_PID --managed-credentials-action DISABLE

rm -vf ${HOME}/.aws/credentials

Managed Temporary Credentialsを無効化して.aws/credentialsを削除しています。
Managed Temporary Credentialsは設定メニューからも無効化できます。

環境変数にアカウントID、リージョン、アベイラビリティゾーンを設定

export ACCOUNT_ID=$(aws sts get-caller-identity --output text --query Account)
TOKEN=`curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"`  
export AWS_REGION=$(curl -H "X-aws-ec2-metadata-token: $TOKEN" -v http://169.254.169.254/latest/dynamic/instance-identity/document | jq -r '.region')
export AZS=($(aws ec2 describe-availability-zones --query 'AvailabilityZones[].ZoneName' --output text --region $AWS_REGION))

export ACCOUNT_ID=$(aws sts get-caller-identity --output text --query Account)

TOKEN=`curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"`

export AWS_REGION=$(curl -H "X-aws-ec2-metadata-token: $TOKEN" -v http://169.254.169.254/latest/dynamic/instance-identity/document | jq -r '.region')

export AZS=($(aws ec2 describe-availability-zones --query 'AvailabilityZones[].ZoneName' --output text --region $AWS_REGION))

手順はIMDSv1ですので、IMDSv2向けのコマンドに変えて実行しています。

test -n "$AWS_REGION" && echo AWS_REGION is "$AWS_REGION" || echo AWS_REGION is not set

1 2	test -n "$AWS_REGION" && echo AWS_REGION is "$AWS_REGION" \|\| echo AWS_REGION is not set

確認コマンドの結果
リージョンコード(us-east-1はリージョンによって異なります。
AWS_REGION is us-east-1

echo "export ACCOUNT_ID=${ACCOUNT_ID}" | tee -a ~/.bash_profile
echo "export AWS_REGION=${AWS_REGION}" | tee -a ~/.bash_profile
echo "export AZS=(${AZS[@]})" | tee -a ~/.bash_profile
aws configure set default.region ${AWS_REGION}
aws configure get default.region

echo "export ACCOUNT_ID=${ACCOUNT_ID}" | tee -a ~/.bash_profile

echo "export AWS_REGION=${AWS_REGION}" | tee -a ~/.bash_profile

echo "export AZS=(${AZS[@]})" | tee -a ~/.bash_profile

aws configure set default.region ${AWS_REGION}

aws configure get default.region

bash_profileに保存しました。

リポジトリのクローン

cd ~/environment
git clone https://github.com/aws-containers/ecsdemo-frontend.git
git clone https://github.com/aws-containers/ecsdemo-nodejs.git
git clone https://github.com/aws-containers/ecsdemo-crystal.git

cd ~/environment

git clone https://github.com/aws-containers/ecsdemo-frontend.git

git clone https://github.com/aws-containers/ecsdemo-nodejs.git

git clone https://github.com/aws-containers/ecsdemo-crystal.git

KMSカスタマー管理キーの作成

aws kms create-alias --alias-name alias/eksworkshop --target-key-id $(aws kms create-key --query KeyMetadata.Arn --output text)
export MASTER_ARN=$(aws kms describe-key --key-id alias/eksworkshop --query KeyMetadata.Arn --output text)
echo "export MASTER_ARN=${MASTER_ARN}" | tee -a ~/.bash_profile

aws kms create-alias --alias-name alias/eksworkshop --target-key-id $(aws kms create-key --query KeyMetadata.Arn --output text)

export MASTER_ARN=$(aws kms describe-key --key-id alias/eksworkshop --query KeyMetadata.Arn --output text)

echo "export MASTER_ARN=${MASTER_ARN}" | tee -a ~/.bash_profile

暗号化キーを作成して環境変数にARNを設定して、bash_profileに保存しています。

eksctlのインストール

curl --silent --location "https://github.com/weaveworks/eksctl/releases/latest/download/eksctl_$(uname -s)_amd64.tar.gz" | tar xz -C /tmp

sudo mv -v /tmp/eksctl /usr/local/bin

curl --silent --location "https://github.com/weaveworks/eksctl/releases/latest/download/eksctl_$(uname -s)_amd64.tar.gz" | tar xz -C /tmp

sudo mv -v /tmp/eksctl /usr/local/bin

eksctl version

1 2	eksctl version

バージョンを確認するとバージョン番号だけが返ってきます。

eksctl completion bash >> ~/.bash_completion
. /etc/profile.d/bash_completion.sh
. ~/.bash_completion

eksctl completion bash >> ~/.bash_completion

. /etc/profile.d/bash_completion.sh

. ~/.bash_completion

補完を有効にします。

最初のクラスターの作成

クラスターの作成

cat << EOF > eksworkshop.yaml
---
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: eksworkshop-eksctl
  region: ${AWS_REGION}
  version: "1.30"

availabilityZones: ["${AZS[0]}", "${AZS[1]}"]

managedNodeGroups:
- name: nodegroup
  desiredCapacity: 2
  instanceType: t3.small
  spot: true
  ssh:
    enableSsm: true

secretsEncryption:
  keyARN: ${MASTER_ARN}
EOF

cat << EOF > eksworkshop.yaml

---

apiVersion: eksctl.io/v1alpha5

kind: ClusterConfig

metadata:

region: ${AWS_REGION}

version: "1.30"

availabilityZones: ["${AZS[0]}", "${AZS[1]}"]

managedNodeGroups:

- name: nodegroup

desiredCapacity: 2

instanceType: t3.small

spot: true

ssh:

enableSsm: true

secretsEncryption:

keyARN: ${MASTER_ARN}

EOF

eksworkshop.yamlを作成しました。
versionは最新にしています。
ノードでスポットインスタンスを使用したかったのでspot: trueにしています。
手順は3つのAZでしたが、2つにしています。

eksctl create cluster -f eksworkshop.yaml

1 2	eksctl create cluster -f eksworkshop.yaml

クラスターの作成を開始しました。

15分弱でクラスターとノードグループの作成が完了しました。

CloudFormationではクラスターとノードグループのスタック作成が完了していました。

EKSでもクラスターがアクティブになっていました。

kubectl get nodes

1 2	kubectl get nodes

Cloud9でコマンドで確認するとノードが2つ表示されました。

NAME STATUS ROLES AGE VERSION
ip-192-168-22-34.ec2.internal Ready 34m v1.30.0-eks-036c24b
ip-192-168-33-113.ec2.internal Ready 34m v1.30.0-eks-036c24b

kubeconfigの更新

kubeconfigを確認してみます。

kubectl config view

1 2	kubectl config view

apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://XXXXXXXXX.gr7.us-east-1.eks.amazonaws.com
  name: eksworkshop-eksctl.us-east-1.eksctl.io
contexts:
- context:
    cluster: eksworkshop-eksctl.us-east-1.eksctl.io
    user: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io
  name: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io
current-context: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io
kind: Config
preferences: {}
users:
- name: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io
  user:
    exec:
      apiVersion: client.authentication.k8s.io/v1beta1
      args:
      - eks
      - get-token
      - --output
      - json
      - --cluster-name
      - eksworkshop-eksctl
      - --region
      - us-east-1
      command: aws
      env:
      - name: AWS_STS_REGIONAL_ENDPOINTS
        value: regional
      provideClusterInfo: false

apiVersion: v1

clusters:

- cluster:

certificate-authority-data: DATA+OMITTED

server: https://XXXXXXXXX.gr7.us-east-1.eks.amazonaws.com

contexts:

- context:

cluster: eksworkshop-eksctl.us-east-1.eksctl.io

user: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io

current-context: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io

kind: Config

preferences: {}

users:

- name: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io

user:

exec:

apiVersion: client.authentication.k8s.io/v1beta1

args:

- eks

- get-token

- --output

- json

- --cluster-name

- eksworkshop-eksctl

- --region

- us-east-1

command: aws

env:

- name: AWS_STS_REGIONAL_ENDPOINTS

value: regional

provideClusterInfo: false

i-032b2a62b94ab667bはCloud9のEC2インスタンスです。

次のコマンドでeksworkshop-eksctlというユーザーを追加してデフォルトにしました。

aws eks update-kubeconfig --name eksworkshop-eksctl --region ${AWS_REGION}

1 2	aws eks update-kubeconfig --name eksworkshop-eksctl --region ${AWS_REGION}

もう一度kubectl config viewで確認すると追加されていました。

apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://XXXXXXXXX.gr7.us-east-1.eks.amazonaws.com
  name: arn:aws:eks:us-east-1:079700436326:cluster/eksworkshop-eksctl
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://XXXXXXXXX.gr7.us-east-1.eks.amazonaws.com
  name: eksworkshop-eksctl.us-east-1.eksctl.io
contexts:
- context:
    cluster: arn:aws:eks:us-east-1:123456789012:cluster/eksworkshop-eksctl
    user: arn:aws:eks:us-east-1:123456789012:cluster/eksworkshop-eksctl
  name: arn:aws:eks:us-east-1:123456789012:cluster/eksworkshop-eksctl
- context:
    cluster: eksworkshop-eksctl.us-east-1.eksctl.io
    user: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io
  name: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io
current-context: arn:aws:eks:us-east-1:123456789012:cluster/eksworkshop-eksctl
kind: Config
preferences: {}
users:
- name: arn:aws:eks:us-east-1:079700436326:cluster/eksworkshop-eksctl
  user:
    exec:
      apiVersion: client.authentication.k8s.io/v1beta1
      args:
      - --region
      - us-east-1
      - eks
      - get-token
      - --cluster-name
      - eksworkshop-eksctl
      - --output
      - json
      command: aws
      env: null
      provideClusterInfo: false
- name: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io
  user:
    exec:
      apiVersion: client.authentication.k8s.io/v1beta1
      args:
      - eks
      - get-token
      - --output
      - json
      - --cluster-name
      - eksworkshop-eksctl
      - --region
      - us-east-1
      command: aws
      env:
      - name: AWS_STS_REGIONAL_ENDPOINTS
        value: regional
      provideClusterInfo: false

apiVersion: v1

clusters:

- cluster:

certificate-authority-data: DATA+OMITTED

server: https://XXXXXXXXX.gr7.us-east-1.eks.amazonaws.com

- cluster:

certificate-authority-data: DATA+OMITTED

server: https://XXXXXXXXX.gr7.us-east-1.eks.amazonaws.com

contexts:

- context:

cluster: arn:aws:eks:us-east-1:123456789012:cluster/eksworkshop-eksctl

user: arn:aws:eks:us-east-1:123456789012:cluster/eksworkshop-eksctl

- context:

cluster: eksworkshop-eksctl.us-east-1.eksctl.io

user: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io

current-context: arn:aws:eks:us-east-1:123456789012:cluster/eksworkshop-eksctl

kind: Config

preferences: {}

users:

- name: arn:aws:eks:us-east-1:079700436326:cluster/eksworkshop-eksctl

user:

exec:

apiVersion: client.authentication.k8s.io/v1beta1

args:

- --region

- us-east-1

- eks

- get-token

- --cluster-name

- eksworkshop-eksctl

- --output

- json

command: aws

env: null

provideClusterInfo: false

- name: i-032b2a62b94ab667b@eksworkshop-eksctl.us-east-1.eksctl.io

user:

exec:

apiVersion: client.authentication.k8s.io/v1beta1

args:

- eks

- get-token

- --output

- json

- --cluster-name

- eksworkshop-eksctl

- --region

- us-east-1

command: aws

env:

- name: AWS_STS_REGIONAL_ENDPOINTS

value: regional

provideClusterInfo: false

ROLE_NAME環境変数の設定

STACK_NAME=$(eksctl get nodegroup --cluster eksworkshop-eksctl -o json | jq -r '.[].StackName')
ROLE_NAME=$(aws cloudformation describe-stack-resources --stack-name $STACK_NAME | jq -r '.StackResources[] | select(.ResourceType=="AWS::IAM::Role") | .PhysicalResourceId')
echo "export ROLE_NAME=${ROLE_NAME}" | tee -a ~/.bash_profile

STACK_NAME=$(eksctl get nodegroup --cluster eksworkshop-eksctl -o json | jq -r '.[].StackName')

ROLE_NAME=$(aws cloudformation describe-stack-resources --stack-name $STACK_NAME | jq -r '.StackResources[] | select(.ResourceType=="AWS::IAM::Role") | .PhysicalResourceId')

echo "export ROLE_NAME=${ROLE_NAME}" | tee -a ~/.bash_profile

AWS IAMユーザーへのクラスターへのアクセス権限追加

この時点ではマネジメントコンソールにサインインしているIAMユーザーやIAMロールにKubernetesクラスター内のオブジェクトへのアクセス権限がありません。

クラスターのアクセス設定をマネジメントコンソールで確認すると、「EKS APIとConfigMap」となっていました。

IAMアクセスエントリとConfigMapのaws-authの両方がKubernetesクラスターへのアクセスで有効になっています。

ワークショップの手順ではConfigMapとなっています。

ConfigMapで設定する場合

次のコマンドでCloud9環境を構築したIAMユーザー、またはIAMロールのARNをrolearn変数にセットします。

c9builder=$(aws cloud9 describe-environment-memberships --environment-id=$C9_PID | jq -r '.memberships[].userArn')
if echo ${c9builder} | grep -q user; then
    rolearn=${c9builder}
        echo Role ARN: ${rolearn}
elif echo ${c9builder} | grep -q assumed-role; then
        assumedrolename=$(echo ${c9builder} | awk -F/ '{print $(NF-1)}')
        rolearn=$(aws iam get-role --role-name ${assumedrolename} --query Role.Arn --output text) 
        echo Role ARN: ${rolearn}
fi

c9builder=$(aws cloud9 describe-environment-memberships --environment-id=$C9_PID | jq -r '.memberships[].userArn')

if echo ${c9builder} | grep -q user; then

rolearn=${c9builder}

echo Role ARN: ${rolearn}

elif echo ${c9builder} | grep -q assumed-role; then

assumedrolename=$(echo ${c9builder} | awk -F/ '{print $(NF-1)}')

rolearn=$(aws iam get-role --role-name ${assumedrolename} --query Role.Arn --output text)

echo Role ARN: ${rolearn}

次のコマンドでaws-auth ConfigMapにIAMロールとKubernetes system:mastersグループ、adminユーザーとのマッピングをaws-auth ConfigMapに追加します。

eksctl create iamidentitymapping --cluster eksworkshop-eksctl --arn ${rolearn} --group system:masters --username admin

1 2	eksctl create iamidentitymapping --cluster eksworkshop-eksctl --arn ${rolearn} --group system:masters --username admin

IAMアクセスエントリで設定する場合

[IAMアクセスエントリの作成]を押下して、IAMプリンシパルARNにIAMユーザー、IAMロールのARNを入力してスタンダードを選択しました。

ユーザーとグループは指定していません。
ユーザーは自動で新規作成されます。

アクセス権限と範囲はアクセスポリシーとスコープで設定します。
今回はクラスター全体としました。

指定したIAMロールでマネジメントコンソールからオブジェクトを確認できるようになりました。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS AWS, eks, kubernetes

: SIEM on Amazon OpenSearch Serviceを構築

このブログまわりのモニタリングをSIEM on Amazon OpenSearc …

: Amazon Linux2のジャンボフレーム

ユーザーガイドのEC2 インスタンスのネットワークの最大送信単位 (MTU)を試 …

: Amazon Data Lifecycle Manager(DLM)が東京リージョンで使えるようになったのでLambdaでAMI自動取得から乗り換えた

EBSのスナップショットを自動で作成してくれるAmazon Data Lifec …

: 「最小限のコードで機械学習のためのトレーニングデータを準備する」チュートリアル記録

Amazon SageMaker Data Wranglerのチュートリアルをや …

: RDSスナップショットをS3にエクスポートする新機能を試そうかと思った

やったこと RDSスナップショットをS3にエクスポートできる、という新機能が追加 …

: EC2 Auto Scalingグループでインスタンスの更新を実行

このブログのAMI、起動テンプレートを更新して、EC2 Auto Scaling …

: AWS CodeStarのプロジェクトテンプレートLambda+Pythonによって生成されるもの

勉強会のデモで、AWS CodeStarのプロジェクトテンプレートLambda+ …

: ヤマムギvol.27 Amazon Route 53プライベートホストゾーンとリゾルバーのデモをしました

今日は『AWS認定資格試験テキスト&問題集AWS認定ソリューションアーキ …

: ブログのアーキテクチャをコストベースで見直しました

当ブログはAWSで構築しています。アーキテクチャをコストを最重視して見直しまし …

: Redmineの添付ファイルをS3に同期する

RedmineをAWS上で構築するデザインを考えていて、せっかくなので冗長化しよ …

PREV: 「ChatGPT Meetup Osaka #2」に参加しました
NEXT: Google Adsenseでセンシティブな広告が表示されるので調整しました

「Amazon EKS Workshop」の環境準備とクラスター作成

Cloud9環境

ツールのインストール

kubectlのインストール

awscliのアップデート

jq、envsubset、bash-completionのインストール

yqのインストール

パスの確認

kubectlのbash-completionによる自動補完の有効化

AWS Load Balancer Controllerのバージョン固定

Cloud9の認証設定

EC2向けのIAMロール作成と設定

Cloud9デフォルトのManaged Temporary Credentialsを無効化

環境変数にアカウントID、リージョン、アベイラビリティゾーンを設定

リポジトリのクローン

KMSカスタマー管理キーの作成

eksctlのインストール

最初のクラスターの作成

クラスターの作成

kubeconfigの更新

ROLE_NAME環境変数の設定

AWS IAMユーザーへのクラスターへのアクセス権限追加

ConfigMapで設定する場合

IAMアクセスエントリで設定する場合

ad

ad

関連記事