CSVとParquetのデータ比較

2026/07/22

データ分析にはParquetのほうが良いとは言いますが、実際のところはどうなのか、書き込み速度、読み込み速度、ファイルサイズ、Athenaでのクエリを比較しました。

コマンドの実行はCloudShellで実行しました。

環境準備

データ分析ライブラリのpandasとParquetフォーマットを扱うためのpyarrowをインストールしました。

pip3 install pandas pyarrow

1 2	pip3 install pandas pyarrow

検証用のS3バケットを作成しました。

BUCKET="data-handson-$(aws sts get-caller-identity --query Account --output text)"
aws s3 mb s3://${BUCKET}

BUCKET="data-handson-$(aws sts get-caller-identity --query Account --output text)"

aws s3 mb s3://${BUCKET}

CSVとParquetデータ作成とローカルでの比較

次のPythonファイルをvimでdata_compare.pyとして作成しました。

import pandas as pd
import numpy as np
import time
import os

# テストデータ生成（100万行）
np.random.seed(42)
n = 1_000_000
df = pd.DataFrame({
    'order_id': range(n),
    'customer_id': np.random.randint(1, 10000, n),
    'product_category': np.random.choice(['Electronics', 'Clothing', 'Food', 'Books'], n),
    'price': np.random.lognormal(7, 1.5, n).round(2),
    'quantity': np.random.randint(1, 20, n),
    'order_date': pd.date_range('2023-01-01', periods=n, freq='s'),
    'region': np.random.choice(['Tokyo', 'Osaka', 'Fukuoka', 'Sapporo', 'Nagoya'], n),
})

# --- CSV ---
start = time.time()
df.to_csv('/tmp/data.csv', index=False)
csv_write_time = time.time() - start
csv_size = os.path.getsize('/tmp/data.csv')

start = time.time()
pd.read_csv('/tmp/data.csv')
csv_read_time = time.time() - start

# --- Parquet ---
start = time.time()
df.to_parquet('/tmp/data.parquet', index=False)
parquet_write_time = time.time() - start
parquet_size = os.path.getsize('/tmp/data.parquet')

start = time.time()
pd.read_parquet('/tmp/data.parquet')
parquet_read_time = time.time() - start

# --- Parquet (特定列のみ読み込み) ---
start = time.time()
pd.read_parquet('/tmp/data.parquet', columns=['price', 'quantity'])
parquet_cols_time = time.time() - start

# 結果比較
print("=" * 60)
print(f"{'形式':<12} {'サイズ(MB)':<12} {'書込(秒)':<10} {'全読込(秒)':<12} {'列読込(秒)':<10}")
print("=" * 60)
print(f"{'CSV':<12} {csv_size/1024/1024:<12.1f} {csv_write_time:<10.2f} {csv_read_time:<12.2f} {'N/A':<10}")
print(f"{'Parquet':<12} {parquet_size/1024/1024:<12.1f} {parquet_write_time:<10.2f} {parquet_read_time:<12.2f} {parquet_cols_time:<10.2f}")
print("=" * 60)
print(f"\nサイズ比: Parquet は CSV の {parquet_size/csv_size*100:.1f}% のサイズ")
print(f"列選択読込: Parquet は全読込の {parquet_cols_time/parquet_read_time*100:.1f}% の時間")

import pandas as pd

import numpy as np

import time

import os

# テストデータ生成（100万行）

np.random.seed(42)

n = 1_000_000

df = pd.DataFrame({

'order_id': range(n),

'customer_id': np.random.randint(1, 10000, n),

'product_category': np.random.choice(['Electronics', 'Clothing', 'Food', 'Books'], n),

'price': np.random.lognormal(7, 1.5, n).round(2),

'quantity': np.random.randint(1, 20, n),

'order_date': pd.date_range('2023-01-01', periods=n, freq='s'),

'region': np.random.choice(['Tokyo', 'Osaka', 'Fukuoka', 'Sapporo', 'Nagoya'], n),

})

# --- CSV ---

start = time.time()

df.to_csv('/tmp/data.csv', index=False)

csv_write_time = time.time() - start

csv_size = os.path.getsize('/tmp/data.csv')

start = time.time()

pd.read_csv('/tmp/data.csv')

csv_read_time = time.time() - start

# --- Parquet ---

start = time.time()

df.to_parquet('/tmp/data.parquet', index=False)

parquet_write_time = time.time() - start

parquet_size = os.path.getsize('/tmp/data.parquet')

start = time.time()

pd.read_parquet('/tmp/data.parquet')

parquet_read_time = time.time() - start

# --- Parquet (特定列のみ読み込み) ---

start = time.time()

pd.read_parquet('/tmp/data.parquet', columns=['price', 'quantity'])

parquet_cols_time = time.time() - start

# 結果比較

print("=" * 60)

print(f"{'形式':<12} {'サイズ(MB)':<12} {'書込(秒)':<10} {'全読込(秒)':<12} {'列読込(秒)':<10}")

print("=" * 60)

print(f"{'CSV':<12} {csv_size/1024/1024:<12.1f} {csv_write_time:<10.2f} {csv_read_time:<12.2f} {'N/A':<10}")

print(f"{'Parquet':<12} {parquet_size/1024/1024:<12.1f} {parquet_write_time:<10.2f} {parquet_read_time:<12.2f} {parquet_cols_time:<10.2f}")

print("=" * 60)

print(f"\nサイズ比: Parquet は CSV の {parquet_size/csv_size*100:.1f}% のサイズ")

print(f"列選択読込: Parquet は全読込の {parquet_cols_time/parquet_read_time*100:.1f}% の時間")

実行しました。

python3 data_compare.py

1 2	python3 data_compare.py

結果です。

形式	サイズ(MB)	書込(秒)	全読込(秒)	列読込(秒)
CSV	54.1	3.39	1.13
Parquet	18.3	0.29	0.29	0.03

サイズ比: Parquet は CSV の 33.8% のサイズ
列選択読込: Parquet は全読込の 9.3% の時間

Parquetのほうがサイズも小さく書き込み読み込みも早い結果となりました。

Athenaでのクエリ比較

データをS3バケットへアップロード

aws s3 cp /tmp/data.csv s3://${BUCKET}/formats/csv/data.csv
aws s3 cp /tmp/data.parquet s3://${BUCKET}/formats/parquet/data.parquet

aws s3 cp /tmp/data.csv s3://${BUCKET}/formats/csv/data.csv

aws s3 cp /tmp/data.parquet s3://${BUCKET}/formats/parquet/data.parquet

ここからはAthenaクエリエディタで実行しました。
S3バケット名は変更してください。

データベースの作成

CREATE DATABASE IF NOT EXISTS data_handson;

1 2	CREATE DATABASE IF NOT EXISTS data_handson;

CSV向けテーブルの作成

CREATE EXTERNAL TABLE data_handson.csv_sales (
  order_id INT, customer_id INT, product_category STRING,
  price DOUBLE, quantity INT, order_date STRING, region STRING
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION 's3://data-handson-123456789012/formats/csv/'
TBLPROPERTIES ('skip.header.line.count'='1');

CREATE EXTERNAL TABLE data_handson.csv_sales (

order_id INT, customer_id INT, product_category STRING,

price DOUBLE, quantity INT, order_date STRING, region STRING

) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

LOCATION 's3://data-handson-123456789012/formats/csv/'

TBLPROPERTIES ('skip.header.line.count'='1');

Parquet向けテーブルの作成

CREATE EXTERNAL TABLE data_handson.parquet_sales (
  order_id INT, customer_id INT, product_category STRING,
  price DOUBLE, quantity INT, order_date TIMESTAMP, region STRING
) STORED AS PARQUET
LOCATION 's3://data-handson-123456789012/formats/parquet/';

CREATE EXTERNAL TABLE data_handson.parquet_sales (

order_id INT, customer_id INT, product_category STRING,

price DOUBLE, quantity INT, order_date TIMESTAMP, region STRING

) STORED AS PARQUET

LOCATION 's3://data-handson-123456789012/formats/parquet/';

それぞれのクエリで比較しました。

SELECT region, AVG(price) as avg_price, COUNT(*) as cnt
FROM data_handson.csv_sales GROUP BY region;

SELECT region, AVG(price) as avg_price, COUNT(*) as cnt

FROM data_handson.csv_sales GROUP BY region;

SELECT region, AVG(price) as avg_price, COUNT(*) as cnt
FROM data_handson.parquet_sales GROUP BY region;

SELECT region, AVG(price) as avg_price, COUNT(*) as cnt

FROM data_handson.parquet_sales GROUP BY region;

結果です。

CSV

Parquet

CSVはスキャンしたデータが54.11MBで実行時間は1.4秒でした。
Parquetはスキャンしたデータが5.61MBで実行時間は1.074秒でした。

Parquetはクエリに必要な列だけをスキャンしたので、コスト効率が良い結果となりました。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー改訂第3版」という本を書きました。

「AWS認定資格試験テキスト　AWS認定AIプラクティショナー」という本を書きました。

「AWS教科書 AWS認定デベロッパーアソシエイトテキスト＆問題集」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。

- AWS athena, AWS

: WordPress W3 Total Cache のDatabaseCacheをAmazon ElastiCacheのmemcachedに格納する

このブログのアーキテクチャは現在こちらです。データベースは、Amazon Au …

: ヤマムギvol.27 Amazon Route 53プライベートホストゾーンとリゾルバーのデモをしました

今日は『AWS認定資格試験テキスト&問題集AWS認定ソリューションアーキ …

: S3に置いたMP3ファイルをTwilioから電話再生する(AWS Lambda Python)

Google Calendar Twilio ReminderのTwilioを使 …

: ハンズオン: サーバーレスアーキテクチャ ~AWS認定デベロッパーアソシエイト(DVA-C02)~

このブログは2026年6月29日翔泳社さんより発売される「AWS教科書 AWS認 …

: AWS Transfer Family S3向けのSFTP対応サーバーをVPCで作成してEIPをアタッチ

EIPの作成同じリージョンでEIPを作成しておきます。 SFTP対応サーバーの …

: CloudFrontからのバーチャルホストなサイトのテストってどうしてます？

このブログの構成です。 AWSで構築しています。 4つのサイトを1つのEC2で配 …

: AWSアカウントの解約

アカウント作成メニュー確認のために作成したAWSアカウントを解約しました。使っ …

: AWS Lambda(Python)からZoom投票作成

以前、Zoomの投票(アンケート)をAPI経由で作成するというブログで書きました …

: ECR(Amazon Elastic Container Registry)にコンテナイメージをアップロードする

「Pandocサーバーのコンテナイメージを作成する」で作成したイメージをAWS …

: AWS Organizationsのルートユーザー管理(Root user management)でメンバーアカウントのルートユーザー認証を無効にしました

2024年11月発表のAWS Organizations を使用するお客様のため …

PREV: AWSアカウント(Organizations)新規作成2026年5月版
NEXT: ハンズオン: CloudFormation、SAM、Codeサービス ~AWS認定デベロッパーアソシエイト(DVA-C02)~

CSVとParquetのデータ比較

環境準備

CSVとParquetデータ作成とローカルでの比較

Athenaでのクエリ比較

関連記事