Webでスクレイピングしたデータをpandasのdfに格納し、
そのデータをメモリ上に保持したままGCSにCSVやExcelなどの形式でファイルを保存したいと思っております。
(google cloud Functionsやスクレイピングサーバー上から定期実行させたいため、一度ローカルファイルの形式にする方法はとっていません)
下記のコードでGCS上にファイルをUploadすることはできましたが、CSVの行列形式で保存されず、且つ、文字化けしてしまい上手くいきません。
どんな形でもよいので、DataFrameからCSV形式でストレージ上に保存する方法をご存知の方いらっしゃったらご教示頂けないしょうか。
python
1from google.cloud import storage 2import os 3 4os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "./My First Project.json" 5 6def upload_blob(bucket_name, destination_blob_name): 7 content_type = "text/csv" 8 9 client = storage.Client() 10 bucket = client.bucket(bucket_name) 11 blob = bucket.blob(destination_blob_name) 12 13 blob.upload_from_string(data=all_df.to_csv(sep="," ,index=False), content_type=content_type) 14 15upload_blob("pj_horidasimono", "dataset/train/me.csv")
以上、宜しくお願いします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。