CSVとParquetのデータ比較

2026/07/22

データ分析にはParquetのほうが良いとは言いますが、実際のところはどうなのか、書き込み速度、読み込み速度、ファイルサイズ、Athenaでのクエリを比較しました。

コマンドの実行はCloudShellで実行しました。

環境準備

データ分析ライブラリのpandasとParquetフォーマットを扱うためのpyarrowをインストールしました。

pip3 install pandas pyarrow

1 2	pip3 install pandas pyarrow

検証用のS3バケットを作成しました。

BUCKET="data-handson-$(aws sts get-caller-identity --query Account --output text)"
aws s3 mb s3://${BUCKET}

BUCKET="data-handson-$(aws sts get-caller-identity --query Account --output text)"

aws s3 mb s3://${BUCKET}

CSVとParquetデータ作成とローカルでの比較

次のPythonファイルをvimでdata_compare.pyとして作成しました。

import pandas as pd
import numpy as np
import time
import os

# テストデータ生成（100万行）
np.random.seed(42)
n = 1_000_000
df = pd.DataFrame({
    'order_id': range(n),
    'customer_id': np.random.randint(1, 10000, n),
    'product_category': np.random.choice(['Electronics', 'Clothing', 'Food', 'Books'], n),
    'price': np.random.lognormal(7, 1.5, n).round(2),
    'quantity': np.random.randint(1, 20, n),
    'order_date': pd.date_range('2023-01-01', periods=n, freq='s'),
    'region': np.random.choice(['Tokyo', 'Osaka', 'Fukuoka', 'Sapporo', 'Nagoya'], n),
})

# --- CSV ---
start = time.time()
df.to_csv('/tmp/data.csv', index=False)
csv_write_time = time.time() - start
csv_size = os.path.getsize('/tmp/data.csv')

start = time.time()
pd.read_csv('/tmp/data.csv')
csv_read_time = time.time() - start

# --- Parquet ---
start = time.time()
df.to_parquet('/tmp/data.parquet', index=False)
parquet_write_time = time.time() - start
parquet_size = os.path.getsize('/tmp/data.parquet')

start = time.time()
pd.read_parquet('/tmp/data.parquet')
parquet_read_time = time.time() - start

# --- Parquet (特定列のみ読み込み) ---
start = time.time()
pd.read_parquet('/tmp/data.parquet', columns=['price', 'quantity'])
parquet_cols_time = time.time() - start

# 結果比較
print("=" * 60)
print(f"{'形式':<12} {'サイズ(MB)':<12} {'書込(秒)':<10} {'全読込(秒)':<12} {'列読込(秒)':<10}")
print("=" * 60)
print(f"{'CSV':<12} {csv_size/1024/1024:<12.1f} {csv_write_time:<10.2f} {csv_read_time:<12.2f} {'N/A':<10}")
print(f"{'Parquet':<12} {parquet_size/1024/1024:<12.1f} {parquet_write_time:<10.2f} {parquet_read_time:<12.2f} {parquet_cols_time:<10.2f}")
print("=" * 60)
print(f"\nサイズ比: Parquet は CSV の {parquet_size/csv_size*100:.1f}% のサイズ")
print(f"列選択読込: Parquet は全読込の {parquet_cols_time/parquet_read_time*100:.1f}% の時間")

import pandas as pd

import numpy as np

import time

import os

# テストデータ生成（100万行）

np.random.seed(42)

n = 1_000_000

df = pd.DataFrame({

'order_id': range(n),

'customer_id': np.random.randint(1, 10000, n),

'product_category': np.random.choice(['Electronics', 'Clothing', 'Food', 'Books'], n),

'price': np.random.lognormal(7, 1.5, n).round(2),

'quantity': np.random.randint(1, 20, n),

'order_date': pd.date_range('2023-01-01', periods=n, freq='s'),

'region': np.random.choice(['Tokyo', 'Osaka', 'Fukuoka', 'Sapporo', 'Nagoya'], n),

})

# --- CSV ---

start = time.time()

df.to_csv('/tmp/data.csv', index=False)

csv_write_time = time.time() - start

csv_size = os.path.getsize('/tmp/data.csv')

start = time.time()

pd.read_csv('/tmp/data.csv')

csv_read_time = time.time() - start

# --- Parquet ---

start = time.time()

df.to_parquet('/tmp/data.parquet', index=False)

parquet_write_time = time.time() - start

parquet_size = os.path.getsize('/tmp/data.parquet')

start = time.time()

pd.read_parquet('/tmp/data.parquet')

parquet_read_time = time.time() - start

# --- Parquet (特定列のみ読み込み) ---

start = time.time()

pd.read_parquet('/tmp/data.parquet', columns=['price', 'quantity'])

parquet_cols_time = time.time() - start

# 結果比較

print("=" * 60)

print(f"{'形式':<12} {'サイズ(MB)':<12} {'書込(秒)':<10} {'全読込(秒)':<12} {'列読込(秒)':<10}")

print("=" * 60)

print(f"{'CSV':<12} {csv_size/1024/1024:<12.1f} {csv_write_time:<10.2f} {csv_read_time:<12.2f} {'N/A':<10}")

print(f"{'Parquet':<12} {parquet_size/1024/1024:<12.1f} {parquet_write_time:<10.2f} {parquet_read_time:<12.2f} {parquet_cols_time:<10.2f}")

print("=" * 60)

print(f"\nサイズ比: Parquet は CSV の {parquet_size/csv_size*100:.1f}% のサイズ")

print(f"列選択読込: Parquet は全読込の {parquet_cols_time/parquet_read_time*100:.1f}% の時間")

実行しました。

python3 data_compare.py

1 2	python3 data_compare.py

結果です。

形式	サイズ(MB)	書込(秒)	全読込(秒)	列読込(秒)
CSV	54.1	3.39	1.13
Parquet	18.3	0.29	0.29	0.03

サイズ比: Parquet は CSV の 33.8% のサイズ
列選択読込: Parquet は全読込の 9.3% の時間

Parquetのほうがサイズも小さく書き込み読み込みも早い結果となりました。

Athenaでのクエリ比較

データをS3バケットへアップロード

aws s3 cp /tmp/data.csv s3://${BUCKET}/formats/csv/data.csv
aws s3 cp /tmp/data.parquet s3://${BUCKET}/formats/parquet/data.parquet

aws s3 cp /tmp/data.csv s3://${BUCKET}/formats/csv/data.csv

aws s3 cp /tmp/data.parquet s3://${BUCKET}/formats/parquet/data.parquet

ここからはAthenaクエリエディタで実行しました。
S3バケット名は変更してください。

データベースの作成

CREATE DATABASE IF NOT EXISTS data_handson;

1 2	CREATE DATABASE IF NOT EXISTS data_handson;

CSV向けテーブルの作成

CREATE EXTERNAL TABLE data_handson.csv_sales (
  order_id INT, customer_id INT, product_category STRING,
  price DOUBLE, quantity INT, order_date STRING, region STRING
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION 's3://data-handson-123456789012/formats/csv/'
TBLPROPERTIES ('skip.header.line.count'='1');

CREATE EXTERNAL TABLE data_handson.csv_sales (

order_id INT, customer_id INT, product_category STRING,

price DOUBLE, quantity INT, order_date STRING, region STRING

) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

LOCATION 's3://data-handson-123456789012/formats/csv/'

TBLPROPERTIES ('skip.header.line.count'='1');

Parquet向けテーブルの作成

CREATE EXTERNAL TABLE data_handson.parquet_sales (
  order_id INT, customer_id INT, product_category STRING,
  price DOUBLE, quantity INT, order_date TIMESTAMP, region STRING
) STORED AS PARQUET
LOCATION 's3://data-handson-123456789012/formats/parquet/';

CREATE EXTERNAL TABLE data_handson.parquet_sales (

order_id INT, customer_id INT, product_category STRING,

price DOUBLE, quantity INT, order_date TIMESTAMP, region STRING

) STORED AS PARQUET

LOCATION 's3://data-handson-123456789012/formats/parquet/';

それぞれのクエリで比較しました。

SELECT region, AVG(price) as avg_price, COUNT(*) as cnt
FROM data_handson.csv_sales GROUP BY region;

SELECT region, AVG(price) as avg_price, COUNT(*) as cnt

FROM data_handson.csv_sales GROUP BY region;

SELECT region, AVG(price) as avg_price, COUNT(*) as cnt
FROM data_handson.parquet_sales GROUP BY region;

SELECT region, AVG(price) as avg_price, COUNT(*) as cnt

FROM data_handson.parquet_sales GROUP BY region;

結果です。

CSV

Parquet

CSVはスキャンしたデータが54.11MBで実行時間は1.4秒でした。
Parquetはスキャンしたデータが5.61MBで実行時間は1.074秒でした。

Parquetはクエリに必要な列だけをスキャンしたので、コスト効率が良い結果となりました。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「AWS認定資格試験テキスト　AWS認定AIプラクティショナー」という本を書きました。

「ポケットスタディ AWS認定デベロッパーアソシエイト［DVA-C02対応］」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS athena, AWS

: API Gatewayから直接 DynamoDBに書き込む

やりたいこと WebページでOやXを押したときに、どっちを押したかをDynamo …

: [事前準備] JAWS-UG 関西IoT専門支部「マクニカkibo + AWS IoTハンズオン」

来る12/19(土)の JAWS-UG 関西IoT専門支部第一回勉強会「マクニカ …

: SIEM on Amazon OpenSearch Serviceを構築

このブログまわりのモニタリングをSIEM on Amazon OpenSearc …

: GoogleForm,GASからAPI Gateway, Lambdaで入力情報をDynamoDBに格納する

vol.26 AWS認定試験テキスト認定クラウドプラクティショナーのデモ(Dyn …

: Amazon SNSサブスクリプションフィルターを設定してPython(boto3)からPublish

上記のような構成でRocketChatを使うとき使わないときがあります。都度都 …

: AWS LambdaでS3 Select

RDSスナップショットをS3にエクスポートした、Parquetフォーマットのデー …

: Amazon CloudWatch RUMはじめました

新機能 – Amazon CloudWatch RUM をご紹介 2021年12 …

: macOSにAWS Schema Conversion Toolをインストール

環境 macOS BigSur バージョン11.5(20G71) MacBook …

: AWS WAF Web ACLとルールをv1(Classic)からv2に自動移行しました

新しいものは、課題が解決されていたり、機能追加されたりするのでいいものです。長 …

: AWS Systems Manager Fleet Manager Windows RDP Connectを試してみました

AWS Systems Manager Fleet Manager Window …

PREV: AWSアカウント(Organizations)新規作成2026年5月版

CSVとParquetのデータ比較

環境準備

CSVとParquetデータ作成とローカルでの比較

Athenaでのクエリ比較

関連記事