AWSデータサービス連携はおまかせ！AWS SDK for pandas

2025-07-31 AWSランチセッション 第8回 AWSデータサービス連携はおまかせ！ AWS SDK for pandas 山崎 拓也

山崎 拓也 所属: SIer 仕事: • システム開発など • アプリとAWSインフラ両方 好き: 低レイヤ、SF、AWS AWSアワード: • 2024～2025 Japan AWS Top Engineer • 2022～2025 Japan All AWS Certifications Engineer

データサービスとの連携を毎回作りこむのは手間 • API呼び出しやクエリに専用のライブラリが必要・・・ • CSV, JSON, Parquetなどフォーマットも様々・・・

AWS SDK for pandasはそれを解決します！

AWS SDK for pandasとは • AWSデータおよび分析サービスとPandas DataFrameで簡単にデータ連携する ためのAWS公式Pythonライブラリ • 以前はData Wranglerという名前だった https://github.com/aws/aws-sdk-pandas https://aws-sdk-pandas.readthedocs.io/en/stable/about.html

• https://github.com/aws/aws-sdk-pandas
• https://aws-sdk-pandas.readthedocs.io/en/stable/about.html

沢山のサービスをサポートしている

Lambda関数ならAWS提供レイヤーを追加するだけで使用できる

S3への出し入れも簡単！ • 1行で様々なデータフォーマットを読み書きできる S3からJSONファイルを読み込み import awswrangler as wr df = wr.s3.read_json('s3://.../my_file.json') S3へParquetファイルとして書き出し wr.s3.to_parquet(df, 's3://.../my_file.parquet') Athenaでクエリ df = wr.athena.read_sql_query( 'SELECT * FROM my_table', 'my_database' )

DBへのクエリも簡単！ • 接続情報はAWS Secrets Managerから取得できる 参照 import awswrangler as wr with wr.mysql.connect(secret_id='my_secret') as con: df = wr.mysql.read_sql_query('SELECT * FROM my_table', con) 挿入 with wr.mysql.connect(secret_id='my_secret') as con: wr.mysql.to_sql( df=pd.DataFrame([ {'id': 1, 'name': 'test'} ]), con=con, schema='my_database', table='my_table' )

例えば、Data FirehoseとLambda関数との連携も簡単に実現できる • Data FirehoseはParquetに変換して出力できる • AWS SDK for pandasを使ってDataFrameとして読み込む import awswrangler as wr df = wr.s3.read_parquet('s3://.../my_file.parquet')

まとめ • AWS SDK for pandasなら様々なAWSサービスと簡単にデータをやり取り できる • Pandas DataFrameで扱うことができるため、データ処理部分の開発に集 中できる • データ連携の際にはぜひご活用ください！

ご清聴ありがとうございました。