S3インベントリ設定でインベントリファイルの作成を設定

2021/09/25 2021/09/25

インベントリレポートファイルはオブジェクトの一覧情報です。
日次、週次で定期作成できます。
作成したレポートはレプリケーションや暗号化のステータス管理や、S3バッチオペレーションに使用できます。

インベントリ設定

S3バケットの管理メニューからインベントリ設定を作成しました。

名前と対象プレフィックスもしくはすべて、バージョンIDを含めるか決めます。

インベントリレポートの出力先のバケット、頻度(日次、週次)など設定できました。
出力先のバケットポリシーは自動設定されます。

インベントリレポートファイルの暗号化や追加の情報が設定できます。
即時実行はされないので、1日おいてから作成時間、ファイルなど確認してみます。

翌日確認

午前5:48ぐらいでできてました。

2021-09-04T00-00Z/manifest.checksum
2021-09-04T00-00Z/manifest.json
data/90c689f1-4e7a-4817-ac4c-16cc4434d53e.csv.gz
hive/dt=2021-09-04-00-00/symlink.txt

manifest.jsonはこんな内容でした。

{
  "sourceBucket": "requester-payment",
  "destinationBucket": "arn:aws:s3:::demo-inventory-yamashita",
  "version": "2016-11-30",
  "creationTimestamp": "1630713600000",
  "fileFormat": "CSV",
  "fileSchema": "Bucket, Key, VersionId, IsLatest, IsDeleteMarker, Size, LastModifiedDate, ETag, StorageClass, IsMultipartUploaded, ReplicationStatus, EncryptionStatus, ObjectLockRetainUntilDate, ObjectLockMode, ObjectLockLegalHoldStatus, IntelligentTieringAccessTier, BucketKeyStatus",
  "files": [
    {
      "key": "requester-payment/DemoInventory/data/90c689f1-4e7a-4817-ac4c-16cc4434d53e.csv.gz",
      "size": 209,
      "MD5checksum": "57b9854bb213264f1bc9751b7c8ad2a1"
    }
  ]
}

{

"sourceBucket": "requester-payment",

"destinationBucket": "arn:aws:s3:::demo-inventory-yamashita",

"version": "2016-11-30",

"creationTimestamp": "1630713600000",

"fileFormat": "CSV",

"fileSchema": "Bucket, Key, VersionId, IsLatest, IsDeleteMarker, Size, LastModifiedDate, ETag, StorageClass, IsMultipartUploaded, ReplicationStatus, EncryptionStatus, ObjectLockRetainUntilDate, ObjectLockMode, ObjectLockLegalHoldStatus, IntelligentTieringAccessTier, BucketKeyStatus",

"files": [

{

"key": "requester-payment/DemoInventory/data/90c689f1-4e7a-4817-ac4c-16cc4434d53e.csv.gz",

"size": 209,

"MD5checksum": "57b9854bb213264f1bc9751b7c8ad2a1"

}

]

}

90c689f1-4e7a-4817-ac4c-16cc4434d53e.csv.gz
に実際のオブエジェクトリストが出力されていました。

requester-payment,s3-req-pay-1.png,,true,false,79219,2021-08-28T07:23:10.000Z,8746113efe350cb8b1a7f143a55aa5a1,STANDARD,false,,NOT-SSE,,,,,DISABLED
requester-payment,s3-req-pay-2.png,,true,false,167634,2021-08-28T08:07:13.000Z,c50ec97e4f547abcda02b47b650f534e,STANDARD,false,,NOT-SSE,,,,,DISABLED