常連

GoogleCloudStrage(以下GCS)にて、ローカルからtar.gz形式でアップロードしたフォルダをGCS上で解凍したいです。
ファイル容量としては6~8GB程度(圧縮前)なのでCloudFunctionsで解凍するのは現実的に難しいかなと考えています。
(CloudFunctionsの場合ファイルをDLする場合メモリ領域を保存領域として扱うため)
```Python37
    def open_targz(self):
        with tarfile.open(str(self.targetfolder)+'.tar.gz') as targz:
            targz.extractall()
```
ローカルから未圧縮のフォルダ送信は帯域的な問題上叶いませんでした。
帯域負荷かけずにGCP上で完結して解凍する方法ありませんでしょうか。

GCSでのファイル解凍について

# やりたいこと
表題の通り、PythonでGCS(Google Cloud Storage)にフォルダを作成したいです。

# 現状
作成したいフォルダに保存したいファイルがある場合、以下のようなコードでフォルダを作成･ファイルを保存までできます。(例えばdemoフォルダにsample.txtを置きます)
```Python
client = storage.Client()
bucket = client.get_bucket('bucket')
pathname = 'demo/sample.txt'
blob = bucket.blob(pathname)
# sample_fileにはsapmle.txtが代入済
blob.upload_from_file(sample_file)
```
しかしこのように作る場合、欠点が2つあります。
## 改善したいこと
0. フォルダの作成のみが行えない
0. GCSからフォルダやファイルのパスを取得すると、当該フォルダ(上記例ならばdemoフォルダ)が表示されない
```Python
blobs = client.list_blobs('bucket')
for blob in blobs:
  print(blob.name)
```
本来、"demo/"と"demo/sample.txt"は共に表示されるのですが、｢現状｣のところに記載したコードでフォルダ作成を行うと"demo/sample.txt"しか表示されず、フォルダが取得できません。

上記二点課題について解消する方法を教えていただきたいです。よろしくお願いします。

# 追記
色々調べる中で、GCSには｢フォルダ｣という概念がないことがわかりました。
つまり"demo/sample.txt"を作成した時点で"demo/sample.txt"という場所が記録されているだけだと理解しております。
では"demo/"という場所も作成可能でしょうか。よろしくお願いします。

PythonでGCS(Google Cloud Storage)にフォルダを作成する

サービスアカウントの権限を最低限にしたいのですが、
サービスアカウント作成手順の二つ目で何も選択しなければ何も付与されない認識で合っていますか？

スプシの閲覧のみ許可したいのですが、
1．サービスアカウント作成時に権限を付与しない
2. 払い出されたメールアドレスを、スプシ上で編集者に追加
の手順で大丈夫でしょうか？

▼画像
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2025-04-17/a10a59ee-8b8b-4fe6-92c9-56ef4a677fe7.png)


Google Cloud サービスアカウントに関して

https://qiita.com/itkr/items/20aa3e408ab3b83d54af
当サイトにならってやってみましたが、以下のエラーが出てしまいます。
なにかお気づきな点ありましたらご教示いただけませんでしょうか？


```error
Error while reading data, error message: CSV table encountered too many errors, giving up. Rows: 1; errors: 1. Please look into the errors[] collection for more details.
Error while reading data, error message: Too many values in row starting at position: 191.
```


下記のようなBQのスキーマです。
```
data_extract_date	DATE	NULLABLE	
s_id	STRING	NULLABLE	
ss_id	STRING	NULLABLE	
s_gtz	STRING	NULLABLE	
gtz_set_date	DATE	NULLABLE	
test_id	INTEGER	NULLABLE	
test_name	STRING	NULLABLE	
a_id	STRING	NULLABLE	
a_name	STRING	NULLABLE	
s_type	STRING	NULLABLE	
k	STRING	NULLABLE	
ka	STRING	NULLABLE	
d_dai	STRING	NULLABLE	
d_chu	STRING	NULLABLE	
t_syo	STRING	NULLABLE	
m_no	INTEGER	NULLABLE	
k_result	BOOLEAN	NULLABLE	
answer_day	DATE	NULLABLE
```

```python
    with open(path_schema_info, 'r') as f:
        table_schema = json.load(f)

    if not client.check_dataset(dataset):
        raise Exception

    if not client.check_table(dataset, table_name):
        client.create_table(dataset, table_name, table_schema)

    path_csv_file = ["gs://" + bucket_name + "/" + csv_file_name]
    client.import_data_from_uris(path_csv_file, dataset, table_name, field_delimiter='\t', source_format=JOB_SOURCE_FORMAT_CSV, skip_leading_rows=1)
```

big queryのテーブルにデータを挿入できない。(BigQuery-Pythonを利用)

Webでスクレイピングしたデータをpandasのdfに格納し、
そのデータをメモリ上に保持したままGCSにCSVやExcelなどの形式でファイルを保存したいと思っております。
（google cloud Functionsやスクレイピングサーバー上から定期実行させたいため、一度ローカルファイルの形式にする方法はとっていません）

下記のコードでGCS上にファイルをUploadすることはできましたが、CSVの行列形式で保存されず、且つ、文字化けしてしまい上手くいきません。
どんな形でもよいので、DataFrameからCSV形式でストレージ上に保存する方法をご存知の方いらっしゃったらご教示頂けないしょうか。

```python
from google.cloud import storage
import os

os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "./My First Project.json"

def upload_blob(bucket_name, destination_blob_name):
    content_type = "text/csv"
    
    client = storage.Client()
    bucket = client.bucket(bucket_name)
    blob = bucket.blob(destination_blob_name)
    
    blob.upload_from_string(data=all_df.to_csv(sep="," ,index=False), content_type=content_type)

upload_blob("pj_horidasimono", "dataset/train/me.csv")
```

以上、宜しくお願いします。

【python】google cloud storageにpandas.DataFrameからCSVをアップロードする方法

Djangoで簡易的な画像投稿アプリを運用しており、現在はHeroku上で構築しています。
その中で画像ストレージサービスとしてcloudinaryを使っているのですが、高画質の画像をウェブページに表示するとbandwidthが直ぐに上限に達してしまうため、別の画像ストレージサービスを探しています。

djangoで扱いやすい画像ストレージサービスとしては、
・Amazon S3
・Apache Libcloud
・Azure Storage
・Digital Ocean
・Dropbox
・FTP
・Google Cloud Storage
上記のようなものがあるのですが、どれも従量課金制で明確な料金の設定が初心者にはハードルが高く初心者の私には導入しずらいです。

そこで質問なのですが、初心者でも扱いやすい画像ストレージサービス（出来れば日本企業）があれば教えて頂きたいです。
XサーバーやConoha、ロリポップなどでも利用可能かどうか調べてはいるのですが、いまいちわかりません。

初歩的な質問で申し訳ありませんが、よろしくお願いします。

★★★追記1★★★

cloudinaryの無料プランは以下のようになっています。

・ストレージ：10GB
・Bandwidth：20GB

参考：[cloudinary](https://cloudinary.com/pricing)
出来れば100GB以上欲しいのと、高画質な画像を表示しようとするとBandwidthが直ぐに上限に達してしまうため、別の画像ストレージサービスを使用したいと思った次第であります。


★★★追記２★★★
Conoha VPSのオブジェクトストレージなら
転送料金無料・転送量無制限で100GBあたり月額545円で利用できるので個人的にはかなりありがたい価格設定なのですが、そもそもDjangoで利用できるのか、画像投稿アプリとの相性はどうなのか等々、知識に乏しいため中々前に進めません。
この辺り詳しい方がいましたら是非アドバイスを頂きたいです。
よろしくお願いします。

参考：[Conoha VPS オブジェクトストレージ](https://www.conoha.jp/objectstorage/)


Djangoで画像投稿アプリを本番運用する際の扱い易い画像ストレージサービスについて

Gitについて教えて下さい。

Google Cloud Storageに空のレポジトリを作成済みです。

GCPのCloud shellから

```ここに言語を入力
git init 
git add .
git commit -m "xxxx"
```
して
git pushしたところ表題のエラーになりました。
```ここに言語を入力

$ git push google
fatal: The current branch master has no upstream branch.
To push the current branch and set the remote as upstream, use

    git push --set-upstream google master

```

###試したこと
--set-upstreamを付けましたが、エラーになりました。

```ここに言語を入力

$  git push --set-upstream google master
error: src refspec master does not match any.
error: failed to push some refs to 'ssh://tanaka1111@gmail.com@source.developers.google.com:2022/p/point-viewer-335223/r/hello-world'
tanaka1111@cloudshell:~/helloworld (point-viewer-335223)$
```

masterをmainに変えても同じでした。

気になる点として、そもそもmasterブランチが作られていませんでした。
これが関係しているでしょうか？
```ここに言語を入力
git branch -a

```

分かる方教えて下さい。
宜しくお願い致します。

git pushすると「現在のブランチマスターには上流ブランチがありません。」

### 前提・実現したいこと

C#でGoogle.Cloud.Storageを利用したい。
ファイル(画像、CSVファイル)をアップロードしてサーバー上で見れる、ダウンロードできるようにしたい。

### 発生している問題・エラーメッセージ
下の画像はFirebaseのストレージ画面です。
Aのように画像が見れたり、右の名前のリンクからダウンロードしたいのですが、Bのようにロード中の表示になってしまいます。

A.手動で（ファイルをアップロードボタンから）アップロードしたもの。
![イメージ説明](c3c94de0ccf9f6f72ee1b806f2b6a6b0.png)

B.C＃からアップロードしたもの。
![イメージ説明](6ce2b953f4b7470d59271116518d89d6.png)

### 該当のソースコード

```C#
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using Google.Cloud.Storage.V1;
using System.IO;

namespace WindowsFormsApp1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private async void button1_Click(object sender, EventArgs e)
        {
            string accessKeyPath = "xxxxx-xxxx-xxxx-xxxx-xxxx-xxxxxxxx.json";
            Environment.SetEnvironmentVariable("GOOGLE_APPLICATION_CREDENTIALS", accessKeyPath);
            var client = StorageClient.Create();

            var path = "a.csv";
            var fileName = Path.GetFileName(path);
            using (var stream = File.OpenRead(path))
            {
                var obj = await client.UploadObjectAsync(
                bucket: "xxxxxxxxxxx.com",
                objectName: fileName,
                contentType: "application/octet-stream",
                source: stream,
                options: new UploadObjectOptions
                {
                    PredefinedAcl = PredefinedObjectAcl.BucketOwnerFullControl,
                });
            }
            path = "cat.png";
            fileName = Path.GetFileName(path);
            using (var stream = File.OpenRead(path))
            {
                var obj = await client.UploadObjectAsync(
                bucket: "xxxxxxxxxxx.com",
                objectName: fileName,
                contentType: "image/png",
                source: stream,
                options: new UploadObjectOptions
                {
                    PredefinedAcl = PredefinedObjectAcl.BucketOwnerFullControl,
                });
            }

        }
    }
}

```

### 試したこと
[参考にしたサイト1](https://cloud.google.com/dotnet/docs/reference/Google.Cloud.Storage.V1/latest)
[参考にしたサイト2](https://tnakamura.hatenablog.com/entry/2018/11/29/google-cloud-storage)
[参考にしたサイト3](https://qiita.com/shiki_hskw/items/b8f365d6b8075bf4c29b)
サイトに反映されるのでaccessKeyPathやbucketは問題ないのではと思っています。
### 補足情報（FW/ツールのバージョンなど）
NuGetでGoogle.Cloud.Storage.V1の3.5.0をインストールしています。
フォームにボタン1を張り付けているだけのコードです。