常連

### 実現したいこと

- [ ] Storageへの画像アップロードで正しい挙動を得たい。

### 前提

現在起きている事象としてプロフィール編集ページと投稿ページの画像で表示される画像が同じになってしまう事象が発生しており、理想の挙動としてはプロフィール編集ページでアップロードした画像と投稿ページでアップロードした画像はそれぞれ独立した挙動をしてほしいと思っています。

### 発生している問題・エラーメッセージ

```
プロフィール編集ページと投稿ページの画像で表示される画像が同じになってしまっている
```

### 該当のソースコード

```function_utils.dart
import 'dart:io';

import 'package:firebase_storage/firebase_storage.dart';
import 'package:flutter/foundation.dart';
import 'package:flutter/cupertino.dart';
import 'package:image_picker/image_picker.dart';
import 'package:permission_handler/permission_handler.dart';

class FunctionUtils {
  static Future<dynamic> getImageFromGallery(BuildContext context) async {
    try {
      ImagePicker picker = ImagePicker();
      PermissionStatus permissionStatus = await Permission.photos.request();
      if (permissionStatus.isGranted) {
        final pickedFile = await picker.pickImage(source: ImageSource.gallery);
        if (pickedFile != null) {
          return File(pickedFile.path);
        } else {
          return null;
        }
      } else if (permissionStatus.isDenied ||
          permissionStatus.isPermanentlyDenied) {
        if (kDebugMode) {
          print("Access Denied.");
        }
        if (context.mounted) {
          bool isOpened = await showAlertDialog(context);
          if (isOpened) {
            permissionStatus = await Permission.photos.request();
            if (permissionStatus.isGranted) {
              final pickedFile =
                  await picker.pickImage(source: ImageSource.gallery);
              if (pickedFile != null) {
                return File(pickedFile.path);
              } else {
                return null;
              }
            } else {
              return false;
            }
          } else {
            return false;
          }
        }
      } else {
        if (kDebugMode) {
          print("Exception occured.");
        }
        if (context.mounted) return;
        showAlertDialog(context);
        return false;
      }
    } catch (e) {
      if (kDebugMode) {
        print("$e");
      }
      showAlertDialog(context);
      return false;
    }
    // final pickedFile = await picker.pickImage(source: ImageSource.gallery);
    // return File(pickedFile!.path);
    // if (pickedFile != null) {
    //   setState(() {
    //     image = File(pickedFile.path);
    //   });
    // }
  }

  static Future<bool> showAlertDialog(BuildContext context) async {
    bool isOpened = false;
    await showCupertinoDialog<bool>(
      context: context,
      barrierDismissible: false,
      builder: (BuildContext context) => CupertinoAlertDialog(
        title: const Text("Allow access to Photos"),
        content: const Text(
            "This will allow you to share the contents of your camera roll and use other functions. Go to Settings and tap Photos."),
        actions: [
          CupertinoDialogAction(
            isDestructiveAction: true,
            onPressed: () {
              Navigator.pop(context, false);
            },
            child: const Text(
              "Cancel",
            ),
          ),
          CupertinoDialogAction(
            isDefaultAction: true,
            onPressed: () {
              isOpened = true;
              Navigator.pop(context, true);
              openAppSettings();
            },
            child: const Text(
              "Settings",
              style: TextStyle(
                color: CupertinoColors.activeBlue,
              ),
            ),
          ),
        ],
      ),
    );
    return isOpened;
  }

  static Future<String?> uploadProfileImage(String uid, File image) async {
    final FirebaseStorage storageInstance = FirebaseStorage.instance;
    final Reference ref = storageInstance.ref().child(uid);

    try {
      await ref.putFile(image);
      String downloadUrl = await ref.getDownloadURL();
      if (kDebugMode) {
        print(
            "Profile image uploaded successfully. Download URL: $downloadUrl");
      }
      return downloadUrl;
    } catch (e) {
      if (kDebugMode) {
        print("Failed to upload profile image: $e");
      }
      return null;
    }
  }

  static Future<String> uploadPostImage(String uid, File image) async {
    final FirebaseStorage storageInstance = FirebaseStorage.instance;
    final Reference ref = storageInstance.ref().child('post_images').child(uid);
    await ref.putFile(image);
    String downloadUrl = await ref.getDownloadURL();
    if (kDebugMode) {
      print("post_image_path: $downloadUrl");
    }
    return downloadUrl;
  }

  static Future saveImage(File image) async {
    try {} catch (e) {}
  }
}

```

### 試したこと

現在起きている事象の解決策として、画像の格納先を参照しているコードが同じになっているか、セキュリティルールに間違いなどはないかなどを見ている状況です。現在はさまざまなことを試行錯誤している段階で、プロフィール編集ページで設定した画像の変更がプロフィールアイコンに適用されるというのではなく、投稿されている画像に適用されてしまう事象が発生しており混乱状態です。この場をお借りして有識者の方のお力をお借りしたいです。関連するコードが文字数制限に抵触するので、コメント欄に記載させていただきます。

### 補足情報（FW/ツールのバージョンなど）

[✓] Flutter (Channel stable, 3.10.5, on macOS 13.4 22F66 darwin-x64,
locale ja-JP)
[✓] Android toolchain - develop for Android devices (Android SDK version
32.1.0-rc1)
[✓] Xcode - develop for iOS and macOS (Xcode 14.3.1)
[✓] Chrome - develop for the web
[✓] Android Studio (version 2021.2)
[✓] VS Code (version 1.79.2)
[✓] Connected device (3 available)
[✓] Network resources

Storageへの画像アップロードで正しい挙動を得たい。

### 実現したいこと
[List All Customer Reviews for an App（アプリのすべての顧客レビューをリストする）](https://developer.apple.com/documentation/appstoreconnectapi/list_all_customer_reviews_for_an_app)

のデータを、BigQueryテーブルに格納したいが、エラーが出てしまう。
特殊文字が含まれてることによる文字化けが原因だと考えている。下記2つを実現したい。

**① 特殊文字を削除したい。特殊文字全般を別の文字列に削除or置き換え、取り込まないようにしたい。
② 出力時に 'Content-Type': 'text/html; charset=utf-8' にしたい。**

### 発生している問題・分からないこと

**① 特殊文字を削除したい。**
→いろんな場所に .decode('utf-8','replace') を付与して試したが、意図した状態にならない。
　また、.decode('cp932','replace') に敢えて変換し特殊文字が消えることを期待したがこちらもうまくいかず。

**② 出力時に 'Content-Type': 'text/html; charset=utf-8' にしたい。**
→現状、バケットのファイルのページでContent-Type欄に
　text/html; charset=utf-8
　を手入力する必要がある。

※補足：
　API経由でデータをバケットに格納すること自体は出来ている。

＜実装状況＞
Apple Developer API から連携
→ Google Cloud Function で読み込み
→ Google Cloud Storage に保存
→ Google BigQuery Studio でテーブルに書き出し　★読み込み不可

### エラーメッセージ
```error
Error while reading data, error message: CSV table encountered too many errors, giving up. Rows: 37; errors: 100. Please look into the errors[] collection for more details. File: gs://[バケット名]/[ファイル名].csv.gz
```

### 該当のソースコード

```
import base64
import logging, os, sys, re
import pprint
import datetime
import urllib.request,urllib.error
from google.cloud import storage
import jwt
import time
from google.cloud import secretmanager
from google.oauth2 import service_account
import json

# JWTトークンの生成
### 省略 ###

# APIからレポートを取得
def __get_reports(token,date_str=None):
    base_url = 'https://api.appstoreconnect.apple.com/v1/apps/xxxxxxxx/customerReviews' #ダミー値
    vendor_number = xxxxxxxx #ダミー値

    if not date_str:
        jst = datetime.timezone(datetime.timedelta(hours=+9), 'JST')
        date_str = (datetime.datetime.now(jst) - datetime.timedelta(days=2)).strftime('%Y-%m-%d')
    
    path_parameters = {
      "id" : xxxxxxxx #ダミー値
    }

    query_parameters = {
    }

    url = base_url

    headers = {'Authorization': 'Bearer ' + token,'Accept': '*/*'}

    req = urllib.request.Request('{}?{}'.format(url, urllib.parse.urlencode(query_parameters)), headers=headers)

    try:
        with urllib.request.urlopen(req) as res:
            content = res.read()
            print("done") #デバッグ
        code = 200
    except (urllib.error.HTTPError, urllib.error.URLError) as e:
        logging.error("Error occered in urllib.request.Request().\n code: " + str(e.code) + \
                     "\n reason: " + e.reason)
        code = e.code
        content = e.reason
        print("error") #デバッグ

    return (code, content, date_str)

# Cloud Storageにレポートを格納
def __write_to_gcs(content,filename):
    storage_client = storage.Client()
    bucket_name = 'xxxxxxxx'　#ダミー値
    bucket = storage_client.get_bucket(bucket_name)
    blob = bucket.blob(filename)
    blob.upload_from_string(content)

def get_apple_reports(request):
    token = __get_apple_store_connect_api_token()
    vendor_number = 'xxxxxxxx'
    date_str = None
    (code, content, date_str) = __get_reports(token, date_str)
    filename = date_str + '.csv.gz'
    __write_to_gcs(content,filename)
    return (None,200,None)

def get_customer_reviews(event, context):
    request = {"args": {"date_str": None}}
    get_apple_reports(request)
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [x] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
取り込めない理由はエラー文から断定はできない。
仮説通り特殊文字のせいだとするならば、具体的に引っかかっていると推測している文字は「●」で、出力結果に残ってしまう。
恐らくこの文字↓
https://lets-emoji.com/black-circle-emoji/

### 補足
特になし

App Store Connect API から取得したデータから特殊文字を削除できない / 出力時にContent-Typeを付与できない

Djangoで簡易的な画像投稿アプリを運用しており、現在はHeroku上で構築しています。
その中で画像ストレージサービスとしてcloudinaryを使っているのですが、高画質の画像をウェブページに表示するとbandwidthが直ぐに上限に達してしまうため、別の画像ストレージサービスを探しています。

djangoで扱いやすい画像ストレージサービスとしては、
・Amazon S3
・Apache Libcloud
・Azure Storage
・Digital Ocean
・Dropbox
・FTP
・Google Cloud Storage
上記のようなものがあるのですが、どれも従量課金制で明確な料金の設定が初心者にはハードルが高く初心者の私には導入しずらいです。

そこで質問なのですが、初心者でも扱いやすい画像ストレージサービス（出来れば日本企業）があれば教えて頂きたいです。
XサーバーやConoha、ロリポップなどでも利用可能かどうか調べてはいるのですが、いまいちわかりません。

初歩的な質問で申し訳ありませんが、よろしくお願いします。

★★★追記1★★★

cloudinaryの無料プランは以下のようになっています。

・ストレージ：10GB
・Bandwidth：20GB

参考：[cloudinary](https://cloudinary.com/pricing)
出来れば100GB以上欲しいのと、高画質な画像を表示しようとするとBandwidthが直ぐに上限に達してしまうため、別の画像ストレージサービスを使用したいと思った次第であります。


★★★追記２★★★
Conoha VPSのオブジェクトストレージなら
転送料金無料・転送量無制限で100GBあたり月額545円で利用できるので個人的にはかなりありがたい価格設定なのですが、そもそもDjangoで利用できるのか、画像投稿アプリとの相性はどうなのか等々、知識に乏しいため中々前に進めません。
この辺り詳しい方がいましたら是非アドバイスを頂きたいです。
よろしくお願いします。

参考：[Conoha VPS オブジェクトストレージ](https://www.conoha.jp/objectstorage/)


Djangoで画像投稿アプリを本番運用する際の扱い易い画像ストレージサービスについて

### 実現したいこと

jsonデータをGCSからBigQueryに流し込みたいです。
その際に、jsonデータをBigQueryの1つのフィールド(データタイプはjson)に格納したいです。

### 前提

Cloud Functionsの第2世代で開発しています。
ランタイムはGoの1.21です。
GCSに格納しているjsonファイルはjsonl型です。
このjsonlファイルには100行ほどのログデータが入っています。
このログデータを1行ずつBigQueryの1つのフィールドに格納したいです。
ログデータのカラムは可変のため、スキーマ定義などはしたくありません。

BigQueryのテーブルのスキーマ
フィールド名：log
種類：json
モード：nullable


### 発生している問題・エラーメッセージ

```
Error while reading data, error message: JSON table encountered too many errors, giving up. Rows: 1; errors: 1. Please look into the errors[] collection for more details. File: gs://"gcspath"
```

### 該当のソースコード

```func.go
package function

import (
 "context"
	"log"
	"os"

	"cloud.google.com/go/bigquery"
	"github.com/GoogleCloudPlatform/functions-framework-go/functions"
	"cloud.google.com/go/storage"
)

func init() {
	functions.HTTP("DataImport", dataImport)
}

func dataImport(w http.ResponseWriter, r *http.Request) {


	//gcs to bigquery
	bigqueryCtx := context.Background()
	bigqueryClient, err := bigquery.NewClient(bigqueryCtx, os.Getenv("projectID"))
	if err != nil {
		log.Fatalf("err: %v", err)
	}
	defer bigqueryClient.Close()

	gcsRef := bigquery.NewGCSReference("gs://" + os.Getenv("bucketName") + "/" + os.Getenv("filePath"))
	gcsRef.SourceFormat = bigquery.JSON
	loader := bigqueryClient.Dataset(os.Getenv("datasetID")).Table(os.Getenv("tableID")).LoaderFrom(gcsRef)
	loader.WriteDisposition = bigquery.WriteAppend

	job, err := loader.Run(ctx)
	if err != nil {
		log.Fatal(err)
	}
	status, err := job.Wait(ctx)
	if err != nil {
		log.Fatal(err)
	}

	if status.Err() != nil {
		log.Fatal(err)
	}

}
```
### あるべきBigQueryの姿
行            log
1            {"age":22,"citiesLived":[{"numberOfYears":5,"place":"Seattle"}, 
{"numberOfYears":6,"place":"Stockholm"}],"name":"John","gender":"Male","kind":"person"}
2             {"age":24,"citiesLived":[{"numberOfYears":5,"place":"Seattle"}, 
{"numberOfYears":6,"place":"Stockholm"}],"name":"Smith","gender":"Male","kind":"person"}
3
・
・
・

データはサンプルです。
### 試したこと

gcs.AutoDetect = false
gcsRef.Schema = bigquery.Schema{
		{Name: "log", Type: bigquery.JSONFieldType},
	}
など試してみましたが、上記エラーメッセージが出力されてうまくいきませんでした。



Go言語でGCSからBigQueryにjsonデータを1つのフィールドに格納したい。

GoogleCloudStrage(以下GCS)にて、ローカルからtar.gz形式でアップロードしたフォルダをGCS上で解凍したいです。
ファイル容量としては6~8GB程度(圧縮前)なのでCloudFunctionsで解凍するのは現実的に難しいかなと考えています。
(CloudFunctionsの場合ファイルをDLする場合メモリ領域を保存領域として扱うため)
```Python37
    def open_targz(self):
        with tarfile.open(str(self.targetfolder)+'.tar.gz') as targz:
            targz.extractall()
```
ローカルから未圧縮のフォルダ送信は帯域的な問題上叶いませんでした。
帯域負荷かけずにGCP上で完結して解凍する方法ありませんでしょうか。

GCSでのファイル解凍について

下記のように倉庫別に入出庫の数を計算するプログラムを作成しています。
まず一か月の期間で計算するものを作りました。
```GAS
function warehouseCalc() {
  const ss = SpreadsheetApp.getActiveSpreadsheet();
  const st = ss.getSheetByName("倉庫");
  const warehouseA = {
    loading: 0,
    unloading: 0,
  };
  const warehouseB = {
    loading: 0,
    unloading: 0,
  };
  const warehouseC = {
    loading: 0,
    unloading: 0,
  };
  const data = st.getRange(2, 1, st.getLastRow() - 1, st.getLastColumn()).getValues();
  let warehouse;
  for (let i = 0; i < data.length; i++) {
    switch (data[i][0]) {
      case "A":
        warehouse = warehouseA;
        break;
      case "B":
        warehouse = warehouseB;
        break;
      case "C":
        warehouse = warehouseC;
        break;
    }
    if(data[i][2]=="入庫"){
      warehouse.loading += data[i][3];
    } else {
      warehouse.unloading += data[i][3];
    }
  }
  console.log(warehouseA,warehouseB,warehouseC)
}
```

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-05-16/a93fbe0f-2692-44f8-87ea-91924e09dca1.jpeg)


次いで前月と来月の分も計算する必要があるので編集しようとしたのですが、先に進めなくなりました。
どうプログラムを変更したら良いでしょうか。よろしくお願いします。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-05-16/55c75a37-3fb4-4135-bbd0-06d3c4a03adf.jpeg)


Googleスプレッドシートの値を種類別に合算する

Webでスクレイピングしたデータをpandasのdfに格納し、
そのデータをメモリ上に保持したままGCSにCSVやExcelなどの形式でファイルを保存したいと思っております。
（google cloud Functionsやスクレイピングサーバー上から定期実行させたいため、一度ローカルファイルの形式にする方法はとっていません）

下記のコードでGCS上にファイルをUploadすることはできましたが、CSVの行列形式で保存されず、且つ、文字化けしてしまい上手くいきません。
どんな形でもよいので、DataFrameからCSV形式でストレージ上に保存する方法をご存知の方いらっしゃったらご教示頂けないしょうか。

```python
from google.cloud import storage
import os

os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "./My First Project.json"

def upload_blob(bucket_name, destination_blob_name):
    content_type = "text/csv"
    
    client = storage.Client()
    bucket = client.bucket(bucket_name)
    blob = bucket.blob(destination_blob_name)
    
    blob.upload_from_string(data=all_df.to_csv(sep="," ,index=False), content_type=content_type)

upload_blob("pj_horidasimono", "dataset/train/me.csv")
```

以上、宜しくお願いします。

【python】google cloud storageにpandas.DataFrameからCSVをアップロードする方法

# やりたいこと
表題の通り、PythonでGCS(Google Cloud Storage)にフォルダを作成したいです。

# 現状
作成したいフォルダに保存したいファイルがある場合、以下のようなコードでフォルダを作成･ファイルを保存までできます。(例えばdemoフォルダにsample.txtを置きます)
```Python
client = storage.Client()
bucket = client.get_bucket('bucket')
pathname = 'demo/sample.txt'
blob = bucket.blob(pathname)
# sample_fileにはsapmle.txtが代入済
blob.upload_from_file(sample_file)
```
しかしこのように作る場合、欠点が2つあります。
## 改善したいこと
0. フォルダの作成のみが行えない
0. GCSからフォルダやファイルのパスを取得すると、当該フォルダ(上記例ならばdemoフォルダ)が表示されない
```Python
blobs = client.list_blobs('bucket')
for blob in blobs:
  print(blob.name)
```
本来、"demo/"と"demo/sample.txt"は共に表示されるのですが、｢現状｣のところに記載したコードでフォルダ作成を行うと"demo/sample.txt"しか表示されず、フォルダが取得できません。

上記二点課題について解消する方法を教えていただきたいです。よろしくお願いします。

# 追記
色々調べる中で、GCSには｢フォルダ｣という概念がないことがわかりました。
つまり"demo/sample.txt"を作成した時点で"demo/sample.txt"という場所が記録されているだけだと理解しております。
では"demo/"という場所も作成可能でしょうか。よろしくお願いします。