常連

# やりたいこと
表題の通り、PythonでGCS(Google Cloud Storage)にフォルダを作成したいです。

# 現状
作成したいフォルダに保存したいファイルがある場合、以下のようなコードでフォルダを作成･ファイルを保存までできます。(例えばdemoフォルダにsample.txtを置きます)
```Python
client = storage.Client()
bucket = client.get_bucket('bucket')
pathname = 'demo/sample.txt'
blob = bucket.blob(pathname)
# sample_fileにはsapmle.txtが代入済
blob.upload_from_file(sample_file)
```
しかしこのように作る場合、欠点が2つあります。
## 改善したいこと
0. フォルダの作成のみが行えない
0. GCSからフォルダやファイルのパスを取得すると、当該フォルダ(上記例ならばdemoフォルダ)が表示されない
```Python
blobs = client.list_blobs('bucket')
for blob in blobs:
  print(blob.name)
```
本来、"demo/"と"demo/sample.txt"は共に表示されるのですが、｢現状｣のところに記載したコードでフォルダ作成を行うと"demo/sample.txt"しか表示されず、フォルダが取得できません。

上記二点課題について解消する方法を教えていただきたいです。よろしくお願いします。

# 追記
色々調べる中で、GCSには｢フォルダ｣という概念がないことがわかりました。
つまり"demo/sample.txt"を作成した時点で"demo/sample.txt"という場所が記録されているだけだと理解しております。
では"demo/"という場所も作成可能でしょうか。よろしくお願いします。

PythonでGCS(Google Cloud Storage)にフォルダを作成する

### 実現したいこと

jsonデータをGCSからBigQueryに流し込みたいです。
その際に、jsonデータをBigQueryの1つのフィールド(データタイプはjson)に格納したいです。

### 前提

Cloud Functionsの第2世代で開発しています。
ランタイムはGoの1.21です。
GCSに格納しているjsonファイルはjsonl型です。
このjsonlファイルには100行ほどのログデータが入っています。
このログデータを1行ずつBigQueryの1つのフィールドに格納したいです。
ログデータのカラムは可変のため、スキーマ定義などはしたくありません。

BigQueryのテーブルのスキーマ
フィールド名：log
種類：json
モード：nullable


### 発生している問題・エラーメッセージ

```
Error while reading data, error message: JSON table encountered too many errors, giving up. Rows: 1; errors: 1. Please look into the errors[] collection for more details. File: gs://"gcspath"
```

### 該当のソースコード

```func.go
package function

import (
 "context"
	"log"
	"os"

	"cloud.google.com/go/bigquery"
	"github.com/GoogleCloudPlatform/functions-framework-go/functions"
	"cloud.google.com/go/storage"
)

func init() {
	functions.HTTP("DataImport", dataImport)
}

func dataImport(w http.ResponseWriter, r *http.Request) {


	//gcs to bigquery
	bigqueryCtx := context.Background()
	bigqueryClient, err := bigquery.NewClient(bigqueryCtx, os.Getenv("projectID"))
	if err != nil {
		log.Fatalf("err: %v", err)
	}
	defer bigqueryClient.Close()

	gcsRef := bigquery.NewGCSReference("gs://" + os.Getenv("bucketName") + "/" + os.Getenv("filePath"))
	gcsRef.SourceFormat = bigquery.JSON
	loader := bigqueryClient.Dataset(os.Getenv("datasetID")).Table(os.Getenv("tableID")).LoaderFrom(gcsRef)
	loader.WriteDisposition = bigquery.WriteAppend

	job, err := loader.Run(ctx)
	if err != nil {
		log.Fatal(err)
	}
	status, err := job.Wait(ctx)
	if err != nil {
		log.Fatal(err)
	}

	if status.Err() != nil {
		log.Fatal(err)
	}

}
```
### あるべきBigQueryの姿
行            log
1            {"age":22,"citiesLived":[{"numberOfYears":5,"place":"Seattle"}, 
{"numberOfYears":6,"place":"Stockholm"}],"name":"John","gender":"Male","kind":"person"}
2             {"age":24,"citiesLived":[{"numberOfYears":5,"place":"Seattle"}, 
{"numberOfYears":6,"place":"Stockholm"}],"name":"Smith","gender":"Male","kind":"person"}
3
・
・
・

データはサンプルです。
### 試したこと

gcs.AutoDetect = false
gcsRef.Schema = bigquery.Schema{
		{Name: "log", Type: bigquery.JSONFieldType},
	}
など試してみましたが、上記エラーメッセージが出力されてうまくいきませんでした。



Go言語でGCSからBigQueryにjsonデータを1つのフィールドに格納したい。

Djangoで簡易的な画像投稿アプリを運用しており、現在はHeroku上で構築しています。
その中で画像ストレージサービスとしてcloudinaryを使っているのですが、高画質の画像をウェブページに表示するとbandwidthが直ぐに上限に達してしまうため、別の画像ストレージサービスを探しています。

djangoで扱いやすい画像ストレージサービスとしては、
・Amazon S3
・Apache Libcloud
・Azure Storage
・Digital Ocean
・Dropbox
・FTP
・Google Cloud Storage
上記のようなものがあるのですが、どれも従量課金制で明確な料金の設定が初心者にはハードルが高く初心者の私には導入しずらいです。

そこで質問なのですが、初心者でも扱いやすい画像ストレージサービス（出来れば日本企業）があれば教えて頂きたいです。
XサーバーやConoha、ロリポップなどでも利用可能かどうか調べてはいるのですが、いまいちわかりません。

初歩的な質問で申し訳ありませんが、よろしくお願いします。

★★★追記1★★★

cloudinaryの無料プランは以下のようになっています。

・ストレージ：10GB
・Bandwidth：20GB

参考：[cloudinary](https://cloudinary.com/pricing)
出来れば100GB以上欲しいのと、高画質な画像を表示しようとするとBandwidthが直ぐに上限に達してしまうため、別の画像ストレージサービスを使用したいと思った次第であります。


★★★追記２★★★
Conoha VPSのオブジェクトストレージなら
転送料金無料・転送量無制限で100GBあたり月額545円で利用できるので個人的にはかなりありがたい価格設定なのですが、そもそもDjangoで利用できるのか、画像投稿アプリとの相性はどうなのか等々、知識に乏しいため中々前に進めません。
この辺り詳しい方がいましたら是非アドバイスを頂きたいです。
よろしくお願いします。

参考：[Conoha VPS オブジェクトストレージ](https://www.conoha.jp/objectstorage/)


Djangoで画像投稿アプリを本番運用する際の扱い易い画像ストレージサービスについて

### 実現したいこと

- [ ] Storageへの画像アップロードで正しい挙動を得たい。

### 前提

現在起きている事象としてプロフィール編集ページと投稿ページの画像で表示される画像が同じになってしまう事象が発生しており、理想の挙動としてはプロフィール編集ページでアップロードした画像と投稿ページでアップロードした画像はそれぞれ独立した挙動をしてほしいと思っています。

### 発生している問題・エラーメッセージ

```
プロフィール編集ページと投稿ページの画像で表示される画像が同じになってしまっている
```

### 該当のソースコード

```function_utils.dart
import 'dart:io';

import 'package:firebase_storage/firebase_storage.dart';
import 'package:flutter/foundation.dart';
import 'package:flutter/cupertino.dart';
import 'package:image_picker/image_picker.dart';
import 'package:permission_handler/permission_handler.dart';

class FunctionUtils {
  static Future<dynamic> getImageFromGallery(BuildContext context) async {
    try {
      ImagePicker picker = ImagePicker();
      PermissionStatus permissionStatus = await Permission.photos.request();
      if (permissionStatus.isGranted) {
        final pickedFile = await picker.pickImage(source: ImageSource.gallery);
        if (pickedFile != null) {
          return File(pickedFile.path);
        } else {
          return null;
        }
      } else if (permissionStatus.isDenied ||
          permissionStatus.isPermanentlyDenied) {
        if (kDebugMode) {
          print("Access Denied.");
        }
        if (context.mounted) {
          bool isOpened = await showAlertDialog(context);
          if (isOpened) {
            permissionStatus = await Permission.photos.request();
            if (permissionStatus.isGranted) {
              final pickedFile =
                  await picker.pickImage(source: ImageSource.gallery);
              if (pickedFile != null) {
                return File(pickedFile.path);
              } else {
                return null;
              }
            } else {
              return false;
            }
          } else {
            return false;
          }
        }
      } else {
        if (kDebugMode) {
          print("Exception occured.");
        }
        if (context.mounted) return;
        showAlertDialog(context);
        return false;
      }
    } catch (e) {
      if (kDebugMode) {
        print("$e");
      }
      showAlertDialog(context);
      return false;
    }
    // final pickedFile = await picker.pickImage(source: ImageSource.gallery);
    // return File(pickedFile!.path);
    // if (pickedFile != null) {
    //   setState(() {
    //     image = File(pickedFile.path);
    //   });
    // }
  }

  static Future<bool> showAlertDialog(BuildContext context) async {
    bool isOpened = false;
    await showCupertinoDialog<bool>(
      context: context,
      barrierDismissible: false,
      builder: (BuildContext context) => CupertinoAlertDialog(
        title: const Text("Allow access to Photos"),
        content: const Text(
            "This will allow you to share the contents of your camera roll and use other functions. Go to Settings and tap Photos."),
        actions: [
          CupertinoDialogAction(
            isDestructiveAction: true,
            onPressed: () {
              Navigator.pop(context, false);
            },
            child: const Text(
              "Cancel",
            ),
          ),
          CupertinoDialogAction(
            isDefaultAction: true,
            onPressed: () {
              isOpened = true;
              Navigator.pop(context, true);
              openAppSettings();
            },
            child: const Text(
              "Settings",
              style: TextStyle(
                color: CupertinoColors.activeBlue,
              ),
            ),
          ),
        ],
      ),
    );
    return isOpened;
  }

  static Future<String?> uploadProfileImage(String uid, File image) async {
    final FirebaseStorage storageInstance = FirebaseStorage.instance;
    final Reference ref = storageInstance.ref().child(uid);

    try {
      await ref.putFile(image);
      String downloadUrl = await ref.getDownloadURL();
      if (kDebugMode) {
        print(
            "Profile image uploaded successfully. Download URL: $downloadUrl");
      }
      return downloadUrl;
    } catch (e) {
      if (kDebugMode) {
        print("Failed to upload profile image: $e");
      }
      return null;
    }
  }

  static Future<String> uploadPostImage(String uid, File image) async {
    final FirebaseStorage storageInstance = FirebaseStorage.instance;
    final Reference ref = storageInstance.ref().child('post_images').child(uid);
    await ref.putFile(image);
    String downloadUrl = await ref.getDownloadURL();
    if (kDebugMode) {
      print("post_image_path: $downloadUrl");
    }
    return downloadUrl;
  }

  static Future saveImage(File image) async {
    try {} catch (e) {}
  }
}

```

### 試したこと

現在起きている事象の解決策として、画像の格納先を参照しているコードが同じになっているか、セキュリティルールに間違いなどはないかなどを見ている状況です。現在はさまざまなことを試行錯誤している段階で、プロフィール編集ページで設定した画像の変更がプロフィールアイコンに適用されるというのではなく、投稿されている画像に適用されてしまう事象が発生しており混乱状態です。この場をお借りして有識者の方のお力をお借りしたいです。関連するコードが文字数制限に抵触するので、コメント欄に記載させていただきます。

### 補足情報（FW/ツールのバージョンなど）

[✓] Flutter (Channel stable, 3.10.5, on macOS 13.4 22F66 darwin-x64,
locale ja-JP)
[✓] Android toolchain - develop for Android devices (Android SDK version
32.1.0-rc1)
[✓] Xcode - develop for iOS and macOS (Xcode 14.3.1)
[✓] Chrome - develop for the web
[✓] Android Studio (version 2021.2)
[✓] VS Code (version 1.79.2)
[✓] Connected device (3 available)
[✓] Network resources

Storageへの画像アップロードで正しい挙動を得たい。

下記のように倉庫別に入出庫の数を計算するプログラムを作成しています。
まず一か月の期間で計算するものを作りました。
```GAS
function warehouseCalc() {
  const ss = SpreadsheetApp.getActiveSpreadsheet();
  const st = ss.getSheetByName("倉庫");
  const warehouseA = {
    loading: 0,
    unloading: 0,
  };
  const warehouseB = {
    loading: 0,
    unloading: 0,
  };
  const warehouseC = {
    loading: 0,
    unloading: 0,
  };
  const data = st.getRange(2, 1, st.getLastRow() - 1, st.getLastColumn()).getValues();
  let warehouse;
  for (let i = 0; i < data.length; i++) {
    switch (data[i][0]) {
      case "A":
        warehouse = warehouseA;
        break;
      case "B":
        warehouse = warehouseB;
        break;
      case "C":
        warehouse = warehouseC;
        break;
    }
    if(data[i][2]=="入庫"){
      warehouse.loading += data[i][3];
    } else {
      warehouse.unloading += data[i][3];
    }
  }
  console.log(warehouseA,warehouseB,warehouseC)
}
```

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-05-16/a93fbe0f-2692-44f8-87ea-91924e09dca1.jpeg)


次いで前月と来月の分も計算する必要があるので編集しようとしたのですが、先に進めなくなりました。
どうプログラムを変更したら良いでしょうか。よろしくお願いします。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-05-16/55c75a37-3fb4-4135-bbd0-06d3c4a03adf.jpeg)


Googleスプレッドシートの値を種類別に合算する

GoogleCloudStrage(以下GCS)にて、ローカルからtar.gz形式でアップロードしたフォルダをGCS上で解凍したいです。
ファイル容量としては6~8GB程度(圧縮前)なのでCloudFunctionsで解凍するのは現実的に難しいかなと考えています。
(CloudFunctionsの場合ファイルをDLする場合メモリ領域を保存領域として扱うため)
```Python37
    def open_targz(self):
        with tarfile.open(str(self.targetfolder)+'.tar.gz') as targz:
            targz.extractall()
```
ローカルから未圧縮のフォルダ送信は帯域的な問題上叶いませんでした。
帯域負荷かけずにGCP上で完結して解凍する方法ありませんでしょうか。

GCSでのファイル解凍について

Webでスクレイピングしたデータをpandasのdfに格納し、
そのデータをメモリ上に保持したままGCSにCSVやExcelなどの形式でファイルを保存したいと思っております。
（google cloud Functionsやスクレイピングサーバー上から定期実行させたいため、一度ローカルファイルの形式にする方法はとっていません）

下記のコードでGCS上にファイルをUploadすることはできましたが、CSVの行列形式で保存されず、且つ、文字化けしてしまい上手くいきません。
どんな形でもよいので、DataFrameからCSV形式でストレージ上に保存する方法をご存知の方いらっしゃったらご教示頂けないしょうか。

```python
from google.cloud import storage
import os

os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "./My First Project.json"

def upload_blob(bucket_name, destination_blob_name):
    content_type = "text/csv"
    
    client = storage.Client()
    bucket = client.bucket(bucket_name)
    blob = bucket.blob(destination_blob_name)
    
    blob.upload_from_string(data=all_df.to_csv(sep="," ,index=False), content_type=content_type)

upload_blob("pj_horidasimono", "dataset/train/me.csv")
```

以上、宜しくお願いします。

【python】google cloud storageにpandas.DataFrameからCSVをアップロードする方法

**現状**
下記のコードを使いバイナリ形式の画像を取得して結果をfirebaseのstorageに送っている。
```python
url = "https://github.com/opencv/opencv/blob/master/samples/data/butterfly.jpg?raw=true"

response = requests.get(url)
image = response.content

cred = credentials.Certificate("Service Accountのパス")
firebase_admin.initialize_app(cred)
bucket = storage.bucket("StorageのUrl")
blob = bucket.blob("Storageでのファイル名", chunk_size =262144 )
blob.upload_from_string(image)
```

**問題**
取得したデータの使用用途はSNSのアイコンなので画像サイズは320×320ピクセルでいいのですが、どのようにしたら取得したデータのサイズを変更できますか？
chunk_size =262144はこの方法での最初なのだそうです。
この方法にこだわっているわけではなく、他の方法でも大丈夫です。