AWS CLIでS3マルチパートアップロードを確認

2022/09/13

AWS CLI を使用して、Amazon S3 にファイルをマルチパートアップロードする方法を教えてください。に記載の方法を確認しました。
レスポンス値をそれぞれ確認したかったので実行しました。
記録として残します。

AWS CLIでマルチパートアップロードを実行

環境はCloudShellです。
約13MBのlarge_file.zipを次のコマンドで2つに分割して、large_file.001とlarge_file.002として保存しました。

split -n 2 large_file.zip

1 2	split -n 2 large_file.zip

それぞれ6.5MBぐらいになりました。

マルチパートアップロードの開始

aws s3api create-multipart-upload --bucket bucketname --key large_file.zip

1 2	aws s3api create-multipart-upload --bucket bucketname --key large_file.zip

create-multipart-uploadを実行しました。

{
    "Bucket": "bucketname",
    "Key": "large_file.zip",
    "UploadId": "9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--"
}

{

"Bucket": "bucketname",

"Key": "large_file.zip",

"UploadId": "9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--"

}

UploadIdが返されました。
この後のコマンドで使いました。

パートのアップロード

aws s3api upload-part --bucket bucketname --key large_file.zip --part-number 1 --body large_file.001 --upload-id 9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--

1 2	aws s3api upload-part --bucket bucketname --key large_file.zip --part-number 1 --body large_file.001 --upload-id 9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--

{
    "ETag": "\"af882da44481517acdaa3bf6b362f7a5\""
}

{

"ETag": "\"af882da44481517acdaa3bf6b362f7a5\""

}

ETag(エンティティタグ)値が返ってきました。

aws s3api upload-part --bucket bucketname --key large_file.zip --part-number 2 --body large_file.002 --upload-id 9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--

1 2	aws s3api upload-part --bucket bucketname --key large_file.zip --part-number 2 --body large_file.002 --upload-id 9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--

{
    "ETag": "\"18eb8a7ec69006e84107d3ab418e2402\""
}

{

"ETag": "\"18eb8a7ec69006e84107d3ab418e2402\""

}

2つ目のパートも無事アップロードできてETag値が返ってきました。

パートのリストを確認

aws s3api list-parts --bucket bucketname --key large_file.zip --upload-id 9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--

1 2	aws s3api list-parts --bucket bucketname --key large_file.zip --upload-id 9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--

{
    "Parts": [
        {
            "PartNumber": 1,
            "LastModified": "2022-09-13T13:28:22+00:00",
            "ETag": "\"af882da44481517acdaa3bf6b362f7a5\"",
            "Size": 6769862
        },
        {
            "PartNumber": 2,
            "LastModified": "2022-09-13T13:28:48+00:00",
            "ETag": "\"18eb8a7ec69006e84107d3ab418e2402\"",
            "Size": 6769862
        }
    ],
    "ChecksumAlgorithm": null,
    "Initiator": {
        "ID": "arn:aws:sts::123456789012:assumed-role/RoleName/yamashita",
        "DisplayName": "RoleName/yamashita"
    },
    "Owner": {
        "DisplayName": "yamashita",
        "ID": "xxxxxxxxxxxxxxxxx"
    },
    "StorageClass": "STANDARD"
}

{

"Parts": [

{

"PartNumber": 1,

"LastModified": "2022-09-13T13:28:22+00:00",

"ETag": "\"af882da44481517acdaa3bf6b362f7a5\"",

"Size": 6769862

{

"PartNumber": 2,

"LastModified": "2022-09-13T13:28:48+00:00",

"ETag": "\"18eb8a7ec69006e84107d3ab418e2402\"",

"Size": 6769862

}

"ChecksumAlgorithm": null,

"Initiator": {

"ID": "arn:aws:sts::123456789012:assumed-role/RoleName/yamashita",

"DisplayName": "RoleName/yamashita"

"Owner": {

"DisplayName": "yamashita",

"ID": "xxxxxxxxxxxxxxxxx"

"StorageClass": "STANDARD"

}

リストが返ってきました。
ここでもパートのETag値が確認できました。

ETag値のコンパイル

各パートのETag値とパート番号をJSONファイルに書き込みます。
fileparts.jsonという名前で作成しました。

{
    "Parts": [{
        "ETag": "\"fa8f294721ab3fbb37793c68ff2cf09b\"",
        "PartNumber":1
    },
    {
        "ETag": "\"c11ed05ff2ae3434e4a2dd630b7f8434\"",
        "PartNumber":2
    }]
}

{

"Parts": [{

"ETag": "\"fa8f294721ab3fbb37793c68ff2cf09b\"",

"PartNumber":1

{

"ETag": "\"c11ed05ff2ae3434e4a2dd630b7f8434\"",

"PartNumber":2

}]

}

マルチパートアップロードの完了

aws s3api complete-multipart-upload --multipart-upload file://fileparts.json --bucket bucketname --key large_file.zip --upload-id 9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--

1 2	aws s3api complete-multipart-upload --multipart-upload file://fileparts.json --bucket bucketname --key large_file.zip --upload-id 9xH2tmxB03gW02C.bGAwyuDQ5vANbPjP3RfxzSMsx_KSy9sn0upK8D4zbF7TagsZBudWlHc.PlgMeKCVlWMVBmVeqac5y.PdPQ5OZWDZaveXMRRrc0CvuUBpMK4TnECKhVGPnyCn_nRUVZpRqmjQww--

{
    "VersionId": "ut6KcrcMmQ0E7FdrFeQZgXBs1v.F4VuT",
    "Location": "https://bucketname.s3.us-east-1.amazonaws.com/large_file.zip",
    "Bucket": "bucketname",
    "Key": "large_file.zip",
    "ETag": "\"6b806f13475be98c421759399ab21a71-2\""
}

{

"VersionId": "ut6KcrcMmQ0E7FdrFeQZgXBs1v.F4VuT",

"Location": "https://bucketname.s3.us-east-1.amazonaws.com/large_file.zip",

"Bucket": "bucketname",

"Key": "large_file.zip",

"ETag": "\"6b806f13475be98c421759399ab21a71-2\""

}

マルチパートアップロードが完了して、1つのオブジェクトとして作成されました。
2つのパートでしたので、ETagの後ろに-2 がついています。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。