growing hard days.

boto3(Python SDK) s3 get_object でバイト範囲を指定する

2021/01/08 2021/01/08

S3のGetObjectアクションでバイト範囲を指定することができます。
それによって、サイズの大きいオブジェクトの処理が途中で中断しても、続きからリトライしやすくしたり、マルチスレッドでダウンロードすることでパフォーマンス効率化を図ったりできます。
という解説をよく見ますが、実際にPythonでどうやって実行するのかを試してみました。

111111111122222222223333333333444444444455555555556666666666
と書いたテキストファイルを用意してバケットにアップロードしました。
それぞれの数字が10文字づつあります。

import json
import boto3

def lambda_handler(event, context):
    s3 = boto3.client('s3')
    response = s3.get_object(
        Bucket='bucketname', 
        Key = 'test.txt',
        Range='bytes=0-9'
        )
    return json.load(response['Body'])

1

2

3

4

5

6

7

8

9

10

11

12

import json

import boto3

def lambda_handler(event, context):

s3 = boto3.client('s3')

response = s3.get_object(

Bucket='bucketname',

Key = 'test.txt',

Range='bytes=0-9'

)

return json.load(response['Body'])

上記を実行すると、以下の結果でした。

Range=’bytes=10-19’とすると、
2222222222となりました。

指定したとおりになりました。

最後までお読みいただきましてありがとうございました！

【PR】「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

【PR】「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第2版」という本を書きました。

【PR】「ポケットスタディ AWS認定デベロッパーアソシエイト」という本を書きました。

【PR】「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

【PR】「AWSではじめるLinux入門ガイド」という本を書きました。

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

Tweet

関連記事

: Cloud9でSAMローカルテスト

せっかくテストするので、Amazon CloudSearchからAmazon E …

: AWSアカウント内のLambda関数を削除するLambda(Python)

やりたいこと特定のAWSアカウントの特定リージョンのAWS Lambda関数を …

: TwilioからのリクエストをAPI Gateway+LambdaでTwimlを返して処理する

Twilioで着信した時のリクエスト先としてTwimlをWebサーバやS3で用意 …

: 「JAWS-UG in AWS Cloud Roadshow 2017 大阪」で運営をしました

AWS Cloud Roadshow 2017 大阪のナイトイベントで、「JAW …

: CloudTrailのログファイルの整合性検証をAWS CLIで実行しました

CloudTrailのログファイルの検証を「有効」にしました。上記のようなCl …

: Lambda関数からAWS Systems Managerパラメータストアの値を取得して更新する

Lambda関数で自分自身の環境変数を更新するだと、Lambdaのエイリアスと …

: Rocket.ChatからOut Going Webhookを設定してみる

API GatewayとLambda とりあえず、どんなデータが飛んでくるのか見 …

: ParquetフォーマットのデータにS3 Select SQLを実行する

RDSスナップショットのS3エクスポート結果確認で出力したデータが、S3にPar …

: AWSアカウントでルートユーザーが使用されたときにTeamsへ投稿する

Organizations組織内のアカウントのいずれかでルートユーザーが使用され …

: Route 53で不要なドメインを削除

勢いで作ったけど結局使うのをやめたドメインがあります。要らないので削除しました …

PREV: Anker PowerWave 10 Padを導入しました
NEXT: S3バケットにWebフォントをアップロードしてCORSを設定する

NEW POST

: Mountpoint for Amazon S3を試しました

このブログでは、画像などの配信にS3を使用しています。 WordPressのプラ …

: 「四国クラウドお遍路 2023 – 四国の外のモノサシを知ってみよう-」に参加しました

2023/9/16に愛媛大学で開催された四国クラウドお遍路 2023 &#821 …

: Lambda関数をPython3.6から3.9に変更

CodeGuru ProfilerでLambda関数(Python 3.9)のパ …

: CodeGuru ProfilerでLambda関数(Python 3.9)のパフォーマンスを確認した

CodeGuru ProfilerでPython 3.9のLambda関数の推奨 …

: 「ChatGPTで開発する技術勉強会」に参加しました

ビヨンドさんの「ChatGPTで開発する技術勉強会」に参加しました。ビアバッシ …

自己紹介

[PR] AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト – プロフェッショナル改訂第2版

[PR] AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第2版

[PR] ポケットスタディ AWS認定デベロッパー – アソシエイト

[PR] 要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト

AWSではじめるLinux入門ガイド

タグ
alexa alexaday2019 api apigateway AWS CentOS cloud9 cloudformation cloudwatch devsumi2018 dynamodb EC2 google iam iot iphone Java jaws jaws-ug kintone lambda Linux m1mac mac Markdown mint MySQL organizations PHP python RDS re:dash Redmine remote s3 Silver sns ssm Twilio vpc waf windows WordPress yamamugi 勉強会

アーカイブ
アーカイブ

AMAZONアソシエイト

「Amazon.co.jpアソシエイト」または「ヤマムギ」は、Amazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイトプログラムである、Amazonアソシエイト・プログラムの参加者です。