ローカル保存のcsvをs3にアップロードする

最終的にはs3のデータを修正してs3へアップロードをしたい。

ただそこまでの道がよく分からないのでいったんs3のデータを編集してcsvでローカルに保存するところまでやりました。

次のステップとしてはローカルにあるcsvをs3へアップすることだと思ったので調査しました。

s3バケットの作成

aws上でs3バケットの作成をします。

作成したバケットに今回はcsvをアップします。

アップロード

import boto3

LocalFilePath = 'data/local.csv' # localに保存するファイルパス
DEST_BUCKET_NAME="csv-data" #s3の保存先バケット名
DEST_OBJECT_KEY_NAME="test1/local.csv" #バケット内のファイルパス

s3 = boto3.resource('s3')
s3.meta.client.upload_file(LocalFilePath, DEST_BUCKET_NAME, DEST_OBJECT_KEY_NAME) #元データの指定とアップロード先を指定してアップロード
Code language: PHP (php)

すでにローカルに保存しているのでこのようになります。

確認

無事アップロードされているのかをs3に確認しに行きます。

無事アップロードされていたら完了です。

まとめ

ローカルにあるファイルをs3にアップロードはうまくいけました。これがAWSのglue上でできるのかよくわかっていないので調べていく！

glueを使いこなすためにも！

追記

s3 csv　→　加工　→　ローカル　→　s3 csv

上記の方法をglueでも利用できました。