ローカル保存のcsvをs3にアップロードする

Python

最終的にはs3のデータを修正してs3へアップロードをしたい。

ただそこまでの道がよく分からないのでいったんs3のデータを編集してcsvでローカルに保存するところまでやりました。

次のステップとしてはローカルにあるcsvをs3へアップすることだと思ったので調査しました。

s3バケットの作成

aws上でs3バケットの作成をします。

作成したバケットに今回はcsvをアップします。

アップロード

import boto3

LocalFilePath = 'data/local.csv' # localに保存するファイルパス
DEST_BUCKET_NAME="csv-data" #s3の保存先バケット名
DEST_OBJECT_KEY_NAME="test1/local.csv" #バケット内のファイルパス

s3 = boto3.resource('s3')
s3.meta.client.upload_file(LocalFilePath, DEST_BUCKET_NAME, DEST_OBJECT_KEY_NAME) #元データの指定とアップロード先を指定してアップロード

すでにローカルに保存しているのでこのようになります。

確認

無事アップロードされているのかをs3に確認しに行きます。

無事アップロードされていたら完了です。

まとめ

ローカルにあるファイルをs3にアップロードはうまくいけました。これがAWSのglue上でできるのかよくわかっていないので調べていく!

glueを使いこなすためにも!

追記

s3 csv → 加工 → ローカル → s3 csv

上記の方法をglueでも利用できました。

コメント

タイトルとURLをコピーしました