常連

### 実現したいこと
Cloud Run Functionsを使って、Cloud StorageへCSVはアップロードをトリガーとして、CSV内容をBigQueryにインポートしたい。

### 発生している問題・分からないこと
引数contextにデータが入らないとなってしまいます。


### エラーメッセージ
```error
TypeError: process_csv_to_bigquery() missing 1 required positional argument: 'context'
```

### 該当のソースコード

```Python
import pandas as pd
from google.cloud import bigquery, storage
from io import StringIO
import os
import datetime

def process_csv_to_bigquery(event, context):
    """
    Google Cloud Storageにファイルがアップロードされた際にトリガーされる関数。
    CSVを読み込み、データを整形し、BigQueryに挿入します。
    """

    file_name = event['name']
    bucket_name = event['bucket']

    print(f"Processing file: {file_name} from bucket: {bucket_name}")

    # CSVファイル以外はスキップ
    if not file_name.endswith('.csv'):
        print(f"Skipping non-CSV file: {file_name}")
        return

    # GCSからCSVファイルを読み込む
    storage_client = storage.Client()
    bucket = storage_client.get_bucket(bucket_name)
    blob = bucket.blob(file_name)
    csv_data = blob.download_as_string().decode('utf-8')

    # pandasでCSVデータをDataFrameとして読み込む
    df = pd.read_csv(StringIO(csv_data))

    # 日付形式の整形 (年/月/日 -> 年-月-日) とデータ型をDATEにする
    if '日付' in df.columns:
        # まずPandasのdatetime型に変換。変換できない値はNaT（Not a Time）にする
        df['日付'] = pd.to_datetime(df['日付'], format='%Y/%m/%d', errors='coerce')
        # NaTではない有効な日付のみをdatetime.dateオブジェクトに変換し、文字列化
        # BigQueryのDATE型として挿入するために 'YYYY-MM-DD' 形式の文字列にします。
        df['日付'] = df['日付'].dt.date.astype(str)
        # NaTだった場合はNaNになるので、BigQueryに挿入される際にNULLとして扱われます。

    # 時間形式の整形 (hh:mm -> hh:mm:ss) とデータ型をTIMEにする
    time_columns = ['支払開始時間', '支払終了時間', '請求開始時間', '請求終了時間']
    for col in time_columns:
        if col in df.columns:
            # NaN値ではない、かつ形式が 'HH:MM'（長さ5）の場合に ':00' を追加
            df[col] = df[col].astype(str).apply(lambda x: x + ':00' if pd.notna(x) and len(x) == 5 else x)

            # BigQueryのTIME型として挿入するため、datetime.timeオブジェクトに変換を試みます。
            # 変換できない場合はNaTになり、最終的にNULLとして扱われます。
            df[col] = df[col].apply(lambda x: datetime.datetime.strptime(x, '%H:%M:%S').time() if pd.notna(x) and len(x) == 8 else None)
            # BigQueryのTIME型は 'HH:MM:SS' 形式の文字列も受け入れることが多いですが、
            # datetime.time オブジェクトに変換することでより厳密に型を扱えます。

    # BigQueryクライアントの初期化
    bigquery_client = bigquery.Client()

    # BigQueryプロジェクトID、データセットID、テーブルIDを設定
    # ここをあなたのBigQueryのデータセットIDとテーブルIDに置き換えてください。
    project_id = bigquery_client.project # BigQueryクライアントが自動的にプロジェクトIDを検出
    dataset_id = 'canvas-eye-465212-q8.zinzai_test_date'  # 例: 'my_dataset' **ここをあなたのデータセットIDに置き換えてください**
    table_id = 'canvas-eye-465212-q8.zinzai_test_date.worklog'      # 例: 'my_table'    **ここをあなたのテーブルIDに置き換えてください**

    table_ref = bigquery_client.dataset(dataset_id, project=project_id).table(table_id)

    # BigQueryから既存データの削除 (CSVに含まれる日付の最小値と最大値に該当するデータ)
    # CSVに「日付」カラムがあり、かつデータが存在する場合のみ削除処理を実行
    if '日付' in df.columns and not df['日付'].empty:
        # 有効な日付データ（NaNではないデータ）のみを考慮
        valid_dates_in_csv = df['日付'].dropna()
        if not valid_dates_in_csv.empty:
            min_date_str = valid_dates_in_csv.min()
            max_date_str = valid_dates_in_csv.max()

            # BigQueryのDATE型カラムに対して日付範囲でDELETEを実行
            delete_query = f"""
            DELETE FROM `{project_id}.{dataset_id}.{table_id}`
            WHERE 日付 BETWEEN PARSE_DATE('%Y-%m-%d', '{min_date_str}') AND PARSE_DATE('%Y-%m-%d', '{max_date_str}')
            """
            print(f"Executing delete query: {delete_query}")
            try:
                query_job = bigquery_client.query(delete_query)
                query_job.result() # クエリの完了を待機
                print(f"Successfully deleted existing data in BigQuery for dates between {min_date_str} and {max_date_str}.")
            except Exception as e:
                print(f"Error during BigQuery delete operation: {e}")
                # 削除に失敗しても、データ挿入は試みます。必要に応じてここで処理を中断することも可能です。
        else:
            print("No valid '日付' found in the CSV for deletion range. Skipping deletion.")
    else:
        print("CSV does not contain '日付' column or it is empty. Skipping deletion.")

    # BigQueryへのデータ挿入
    # DataFrameを辞書のリストに変換します。BigQueryのスキーマとカラム数・並び順が完全に一致しているため、
    # BigQueryの insert_rows_json メソッドが最もシンプルで効果的です。
    rows_to_insert = df.to_dict(orient='records')

    print(f"Attempting to insert {len(rows_to_insert)} rows into BigQuery table: {table_id}")
    errors = bigquery_client.insert_rows_json(table_ref, rows_to_insert)

    if errors:
        print("Encountered errors while inserting rows:")
        for error in errors:
            print(f"  {error}") # エラーの詳細を表示
        raise Exception("BigQuery insert failed. Check logs for details.") # 挿入に失敗したら関数を終了させる
    else:
        print(f"Successfully inserted {len(df)} rows into BigQuery table: {table_id}")

    print("CSV processing and BigQuery insertion complete.")
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
Pythonのバージョン変更などをしましたが、なぜ間違っているか全くわからず・・・。

### 補足
色々調べた結果にたどり着いたコードですが、考え方自体が間違っている場合は、教えて頂きたいです。

Cloud Run Functionsを使ってBigQueryを操作したいのですが、エラーが出て解決しません。

### 前提・実現したいこと

BigQueryにてテーブルの結合を行った際に
以下のエラーメッセージが発生しました。

### 発生している問題・エラーメッセージ

```
SELECT list expression references column clinic_name which is neither grouped nor aggregated at [1:24]
```

### 該当のソースコード

SELECT patient_number, clinic_name , sum(dpc_cost)
FROM `level-abode-242601.kaihin.def_patient_cost` Left JOIN `level-abode-242601.kaihin.patient_data2` ON patient_number = cast(number as int64)
GROUP BY patient_number
order by patient_number

### 補足情報（FW/ツールのバージョンなど）
clinic_nameフィールドはlevel-abode-242601.kaihin.patient_data2テーブルに格納されているものになります。

BigQueryの外部結合が上手くできなくて困っています。

****__知りたいこと__****
bigqueryでの一般的な文字置換記法としてreplaceが使えなかったため、
他に文字列置換が可能な関数、テクニックがあれば教えていただきたくお願い致します。

**困っていること**

bigqueryでSQL実行する際、STRING型のnameというカラムに","があり、
置換したいのですが上手くいきません。

CSV出力した際に","があるとaccessなどでインポートする際に
区切り文字として都合が悪いため、
下記のようにreplaceを試しましたが何も変化なくエラーも出ませんでした。

**解決したいこと**
bigqueryのSQL実行にて文字置換するにはどうすれば良いでしょうか。

SQL設定　標準
```
select
A.id,
A.replace(name,",","_") name

from
A
```

指定文字の置換方法について(bigquery)

### 前提・実現したいこと
bigQueryのWebUIを用いて、SELECT文を実行したい

### 発生している問題・エラーメッセージ

```
Not found: Table テーブル名. Please verify that the table exists and the correct location was used for the job.
```

### 該当のソースコード

```SQL
SELECT
  row1_text as text
FROM
  `sportsagent.newsrecord`
WHERE
 title like "%A%" and _PARTITIONTIME = "2018-04-15"
```

### 試したこと
GoogleConsoleにて以下のコマンドをおこなって、newsrecordのテーブルに５０レコード入っていることなどPythonでの接続ができることや実際にbigqueryに存在していることを確認しています。

```Python
>>> bigquery_client = bigquery.Client.from_service_account_json(json_key, project='sports-agent-199307')
>>> dataset_ref = bigquery_client.dataset("sportsagent")
>>> table_ref = dataset_ref.table("newsrecord")
>>> table = bigquery_client.get_table(table_ref)
>>> table.num_rows
50
```
![イメージ説明](9668a508b61ca678529e9a061da95bd4.png)


解決方法が見つからなくて困っています。どうかお助けいただきたくよろしくお願い致します。

Google bigQuery でテーブルが見つからないというエラーが発生する

前回の投稿の続きになります。
[前回投稿](https://teratail.com/questions/292856)
現在開発しているAPIの機能は以下になります。
SQLの実行先のDBはGoogle BigQueryを使用しております。
```
①複数のレクエストパラメーター（luid）をリストで取得し、ループ処理でそれぞれを変数に格納
②①の変数をWhere区の条件に使用しSQLを実行する
＊SQLの内容はリクエストされたluidのcv_dateカラムに値があればTrueを返す
③結果をパラメーター値:真偽値のJson形式でクライアントに返す
```

そこで、以下のSQLの結果とリクエストパラメーターをリスト化する処理の中で以下のエラーが出ています。
連続した要素はupdateできないよというエラーだと思うのですが、
本来rowをreturn row[0]で返すとTrue又はFalseで結果を取得できているので、何かupdateもしくはjson.dumpの使い方を間違っているのでしょうか？？
何かアドバイスがあれば頂ければ幸いです。
よろしくお願いします。
稚拙なコードで理解しにくい所などありましたら申し訳ありません。
又、そもそものロジックなどで修正した方がいい点などがありましたらご教授頂きたいです。
```
for row in query_res:
            temp_result = json.dumps({request_luid: str(row[0]) })
            break

        result.update(temp_result)
⇩
ValueError: dictionary update sequence element #0 has length 1; 2 is required
```


```
main.py

def get_request():
    request_luids = request.args.getlist('luid') or ''
    result = {} 
    for i in range(len(request_luids)):
        request_luid = str(request_luids[i])
        client = bigquery.Client()
        query = """SELECT EXISTS(
                     SELECT 1
                     FROM `test-project-281806.hitobito_test.test3` as p
                     WHERE p.luid = '{}'
                     AND p.cv_date IS NOT NULL limit 1000)""".format(request_luid)


        job_config = bigquery.QueryJobConfig(
            query_parameters=[
                bigquery.ScalarQueryParameter("request_luid", "STRING", request_luid)
            ]
        )

        query_job = client.query(query)
        query_res = query_job.result()

        for row in query_res:
            temp_result = json.dumps({request_luid: str(row[0]) })
            break

        result.update(temp_result) 
    return result

if __name__ == "__main__":
    app.run()
```

Python3で#0 has length 1; 2 is requiredのエラーを解決したいです。

現在以下のことを実行したく、トライアンドエラーを繰り返してます。
１、GETパラメーターから取得するluid：Uxxxxxxの値を変数に格納
２、その変数をSQLのwhere区で使用して、その動的に取得したluidと一致するデータをDBから取得する

調べてはみた所、変数に静的に値を指定して、それを使う方法はあるようなのですが、リクエストURLにあるパラメーターの値を使ってのSQLの書き方などがあればご教授頂きたいです。よろしくお願いします。

request_luidの中身はreturn request_luidでリクエストパラメーターの値が入っていることを確認できています。
また、BigQueryのコンソール画面からこちらのファイルから投げられたSQLの履歴を見ると
where区以下の動的変数で扱いたいrequest_luidがそのまま静的な文字として伝わっていました。
```
query = """SELECT EXISTS(SELECT 1
FROM `test-266778.conversion_log.conversion_log_2020*` as p
WHERE request_luid = p.luid AND orderid != '' limit 1000)"""
        ↑
　　　　ここが静的な変数名で伝わっている
```

【参照】
[Google BigQuery ドキュメント](https://cloud.google.com/bigquery/docs/parameterized-queries?hl=ja)
```
/home/user/api_dev/main.py

from flask import Flask, request, jsonify
from google.cloud import bigquery


app = Flask(__name__)


@app.route('/')
def get_request():
    request_luid = request.args.get('luid') or ''
    client = bigquery.Client()

    query = """SELECT EXISTS(SELECT 1
FROM `test-266778.conversion_log.conversion_log_2020*` as p
WHERE @request_luid = p.luid AND orderid != '' limit 1000)"""

    job_config = bigquery.QueryJobConfig(
    query_parameters=[
        bigquery.ScalarQueryParameter("request_luid", "STRING", request_luid)
    ]
    )


    query_job = client.query(query)
    query_res = query_job.result()
    for row in query_res:
        return jsonify({request_luid:query_res.total_rows})


if __name__ == "__main__":
    app.run()
```

BigQuery上、SQLで動的変数を使う方法があれば教えて頂きたいです。

背景
https://bigquery.cloud.google.com/table/bigquery-public-data:ethereum_blockchain.transactions
こちらのbigqueryから

1. to_address = ‘0x6ebeaf8e8e946f0716e6533a6f2cefc83f60e8ab’ OR ‘0x91b9d2835ad914bc1dcfe09bd1816febd04fd689’
なものを取り出す

2.その中でfrom_addressが重複しているものに関しては、block_timestampが最新のものを一つだけ、残してあとは消す（最新の日付を取得して、重複は消す。ということです）
(こちらのサイトを参照しました。https://qiita.com/nogitsune413/items/f413268d01b4ea2394b1)

ということをやりたいです。

【問題】
下に私が書いたコードをのせましたが、
Query Failed
Error: Syntax error: Illegal input character "\342" at [35:18]
と出てしまいます。どうやらunicode characterを使ってしまっているようですが、そもそもコードが正しくないような気がするので、SQLに詳しい方、確認していただく事は可能でしょうか。
お手数おかけいたしますが、宜しくお願い致します

```SQL
SELECT
  A.HASH,
  A.nonce,
  A.transaction_index,
  A.from_address,
  A.to_address,
  A.value,
  A.value/100000000000000000,
  A.gas,
  A.gas_price,
  A.input,
  A.receipt_cumulative_gas_used,
  A.receipt_gas_used,
  A.receipt_contract_address,
  A.receipt_root,
  A.receipt_status,
  A.block_timestamp,
  A.block_number,
  A.block_hash
FROM
  `bigquery-public-data.ethereum_blockchain.transactions` AS A
INNER JOIN (
  SELECT
    to_address,
    MAX(block_timestamp) AS Max
  FROM
    `bigquery-public-data.ethereum_blockchain.transactions`
  GROUP BY
    to_address) AS A1
ON
  A.to_address = A1.to_address
  AND A.block_timestamp = A1.Max
  
WHERE
  A.to_address = ‘0x6ebeaf8e8e946f0716e6533a6f2cefc83f60e8ab’
  OR A.to_address=‘0x91b9d2835ad914bc1dcfe09bd1816febd04fd689’;
```

big queryからethereumのデータを取得したい

最初は、configファイルに以下のような定数を書いており、app.configから読み取ってgcpクライアントを利用するようにしていましたが、それだと不具合が発生することがわかり、共通モジュールを作成してその中で定数を使いまわそうと考えました。

そもそも、共通モジュールから定数群を利用する場合、classを作成して__init__関数内で読むようにすべきか、はてまた、以下のようにそのまま直書きで利用するようにすべきか、などメリットデメリットが良くわかっていません。
今は、共通モジュールを作成して以下のように書いていますが、configファイルの方はクラスを作成してその中で書いています。

なにか、こうしたほうがいいなどのアイデアがあればご教示いただけませんでしょうか？


```python
    if 'GCP_KEY' not in os.environ:
        raise Exception('KEY is mandatory')
    elif not os.environ.get("GCP_KEY"):
        raise Exception('KEY does not exsist')
    else:
        json_key_file = os.environ.get("GCP_KEY")

    if os.environ.get("CONFIG", "local") == "local":
        # Local
        STORAGE_CLIENT = storage.Client.from_service_account_json(json_key_file)
    else:
        # Staging
        STORAGE_CLIENT = storage.Client()
    BQ_CLIENT = get_client(PROJECT_ID, json_key_file=json_key_file, readonly=True)
```