最終的にはs3のデータを修正してs3へアップロードをしたい。
ただそこまでの道がよく分からないのでいったんs3のデータを編集してcsvでローカルに保存するところまでやりました。
次のステップとしてはローカルにあるcsvをs3へアップすることだと思ったので調査しました。
Table of Contents
s3バケットの作成
aws上でs3バケットの作成をします。
作成したバケットに今回はcsvをアップします。
アップロード
import boto3
LocalFilePath = 'data/local.csv' # localに保存するファイルパス
DEST_BUCKET_NAME="csv-data" #s3の保存先バケット名
DEST_OBJECT_KEY_NAME="test1/local.csv" #バケット内のファイルパス
s3 = boto3.resource('s3')
s3.meta.client.upload_file(LocalFilePath, DEST_BUCKET_NAME, DEST_OBJECT_KEY_NAME) #元データの指定とアップロード先を指定してアップロード
Code language: PHP (php)すでにローカルに保存しているのでこのようになります。
確認
無事アップロードされているのかをs3に確認しに行きます。
無事アップロードされていたら完了です。
まとめ
ローカルにあるファイルをs3にアップロードはうまくいけました。これがAWSのglue上でできるのかよくわかっていないので調べていく！
glueを使いこなすためにも！
追記
s3 csv → 加工 → ローカル → s3 csv
上記の方法をglueでも利用できました。
