常連

### 前提・実現したいこと

BigQueryにてテーブルの結合を行った際に
以下のエラーメッセージが発生しました。

### 発生している問題・エラーメッセージ

```
SELECT list expression references column clinic_name which is neither grouped nor aggregated at [1:24]
```

### 該当のソースコード

SELECT patient_number, clinic_name , sum(dpc_cost)
FROM `level-abode-242601.kaihin.def_patient_cost` Left JOIN `level-abode-242601.kaihin.patient_data2` ON patient_number = cast(number as int64)
GROUP BY patient_number
order by patient_number

### 補足情報（FW/ツールのバージョンなど）
clinic_nameフィールドはlevel-abode-242601.kaihin.patient_data2テーブルに格納されているものになります。

BigQueryの外部結合が上手くできなくて困っています。

****__知りたいこと__****
bigqueryでの一般的な文字置換記法としてreplaceが使えなかったため、
他に文字列置換が可能な関数、テクニックがあれば教えていただきたくお願い致します。

**困っていること**

bigqueryでSQL実行する際、STRING型のnameというカラムに","があり、
置換したいのですが上手くいきません。

CSV出力した際に","があるとaccessなどでインポートする際に
区切り文字として都合が悪いため、
下記のようにreplaceを試しましたが何も変化なくエラーも出ませんでした。

**解決したいこと**
bigqueryのSQL実行にて文字置換するにはどうすれば良いでしょうか。

SQL設定　標準
```
select
A.id,
A.replace(name,",","_") name

from
A
```

指定文字の置換方法について(bigquery)

### 前提・実現したいこと
bigQueryのWebUIを用いて、SELECT文を実行したい

### 発生している問題・エラーメッセージ

```
Not found: Table テーブル名. Please verify that the table exists and the correct location was used for the job.
```

### 該当のソースコード

```SQL
SELECT
  row1_text as text
FROM
  `sportsagent.newsrecord`
WHERE
 title like "%A%" and _PARTITIONTIME = "2018-04-15"
```

### 試したこと
GoogleConsoleにて以下のコマンドをおこなって、newsrecordのテーブルに５０レコード入っていることなどPythonでの接続ができることや実際にbigqueryに存在していることを確認しています。

```Python
>>> bigquery_client = bigquery.Client.from_service_account_json(json_key, project='sports-agent-199307')
>>> dataset_ref = bigquery_client.dataset("sportsagent")
>>> table_ref = dataset_ref.table("newsrecord")
>>> table = bigquery_client.get_table(table_ref)
>>> table.num_rows
50
```
![イメージ説明](9668a508b61ca678529e9a061da95bd4.png)


解決方法が見つからなくて困っています。どうかお助けいただきたくよろしくお願い致します。

Google bigQuery でテーブルが見つからないというエラーが発生する

前回の投稿の続きになります。
[前回投稿](https://teratail.com/questions/292856)
現在開発しているAPIの機能は以下になります。
SQLの実行先のDBはGoogle BigQueryを使用しております。
```
①複数のレクエストパラメーター（luid）をリストで取得し、ループ処理でそれぞれを変数に格納
②①の変数をWhere区の条件に使用しSQLを実行する
＊SQLの内容はリクエストされたluidのcv_dateカラムに値があればTrueを返す
③結果をパラメーター値:真偽値のJson形式でクライアントに返す
```

そこで、以下のSQLの結果とリクエストパラメーターをリスト化する処理の中で以下のエラーが出ています。
連続した要素はupdateできないよというエラーだと思うのですが、
本来rowをreturn row[0]で返すとTrue又はFalseで結果を取得できているので、何かupdateもしくはjson.dumpの使い方を間違っているのでしょうか？？
何かアドバイスがあれば頂ければ幸いです。
よろしくお願いします。
稚拙なコードで理解しにくい所などありましたら申し訳ありません。
又、そもそものロジックなどで修正した方がいい点などがありましたらご教授頂きたいです。
```
for row in query_res:
            temp_result = json.dumps({request_luid: str(row[0]) })
            break

        result.update(temp_result)
⇩
ValueError: dictionary update sequence element #0 has length 1; 2 is required
```


```
main.py

def get_request():
    request_luids = request.args.getlist('luid') or ''
    result = {} 
    for i in range(len(request_luids)):
        request_luid = str(request_luids[i])
        client = bigquery.Client()
        query = """SELECT EXISTS(
                     SELECT 1
                     FROM `test-project-281806.hitobito_test.test3` as p
                     WHERE p.luid = '{}'
                     AND p.cv_date IS NOT NULL limit 1000)""".format(request_luid)


        job_config = bigquery.QueryJobConfig(
            query_parameters=[
                bigquery.ScalarQueryParameter("request_luid", "STRING", request_luid)
            ]
        )

        query_job = client.query(query)
        query_res = query_job.result()

        for row in query_res:
            temp_result = json.dumps({request_luid: str(row[0]) })
            break

        result.update(temp_result) 
    return result

if __name__ == "__main__":
    app.run()
```

Python3で#0 has length 1; 2 is requiredのエラーを解決したいです。

現在以下のことを実行したく、トライアンドエラーを繰り返してます。
１、GETパラメーターから取得するluid：Uxxxxxxの値を変数に格納
２、その変数をSQLのwhere区で使用して、その動的に取得したluidと一致するデータをDBから取得する

調べてはみた所、変数に静的に値を指定して、それを使う方法はあるようなのですが、リクエストURLにあるパラメーターの値を使ってのSQLの書き方などがあればご教授頂きたいです。よろしくお願いします。

request_luidの中身はreturn request_luidでリクエストパラメーターの値が入っていることを確認できています。
また、BigQueryのコンソール画面からこちらのファイルから投げられたSQLの履歴を見ると
where区以下の動的変数で扱いたいrequest_luidがそのまま静的な文字として伝わっていました。
```
query = """SELECT EXISTS(SELECT 1
FROM `test-266778.conversion_log.conversion_log_2020*` as p
WHERE request_luid = p.luid AND orderid != '' limit 1000)"""
        ↑
　　　　ここが静的な変数名で伝わっている
```

【参照】
[Google BigQuery ドキュメント](https://cloud.google.com/bigquery/docs/parameterized-queries?hl=ja)
```
/home/user/api_dev/main.py

from flask import Flask, request, jsonify
from google.cloud import bigquery


app = Flask(__name__)


@app.route('/')
def get_request():
    request_luid = request.args.get('luid') or ''
    client = bigquery.Client()

    query = """SELECT EXISTS(SELECT 1
FROM `test-266778.conversion_log.conversion_log_2020*` as p
WHERE @request_luid = p.luid AND orderid != '' limit 1000)"""

    job_config = bigquery.QueryJobConfig(
    query_parameters=[
        bigquery.ScalarQueryParameter("request_luid", "STRING", request_luid)
    ]
    )


    query_job = client.query(query)
    query_res = query_job.result()
    for row in query_res:
        return jsonify({request_luid:query_res.total_rows})


if __name__ == "__main__":
    app.run()
```

BigQuery上、SQLで動的変数を使う方法があれば教えて頂きたいです。

背景
https://bigquery.cloud.google.com/table/bigquery-public-data:ethereum_blockchain.transactions
こちらのbigqueryから

1. to_address = ‘0x6ebeaf8e8e946f0716e6533a6f2cefc83f60e8ab’ OR ‘0x91b9d2835ad914bc1dcfe09bd1816febd04fd689’
なものを取り出す

2.その中でfrom_addressが重複しているものに関しては、block_timestampが最新のものを一つだけ、残してあとは消す（最新の日付を取得して、重複は消す。ということです）
(こちらのサイトを参照しました。https://qiita.com/nogitsune413/items/f413268d01b4ea2394b1)

ということをやりたいです。

【問題】
下に私が書いたコードをのせましたが、
Query Failed
Error: Syntax error: Illegal input character "\342" at [35:18]
と出てしまいます。どうやらunicode characterを使ってしまっているようですが、そもそもコードが正しくないような気がするので、SQLに詳しい方、確認していただく事は可能でしょうか。
お手数おかけいたしますが、宜しくお願い致します

```SQL
SELECT
  A.HASH,
  A.nonce,
  A.transaction_index,
  A.from_address,
  A.to_address,
  A.value,
  A.value/100000000000000000,
  A.gas,
  A.gas_price,
  A.input,
  A.receipt_cumulative_gas_used,
  A.receipt_gas_used,
  A.receipt_contract_address,
  A.receipt_root,
  A.receipt_status,
  A.block_timestamp,
  A.block_number,
  A.block_hash
FROM
  `bigquery-public-data.ethereum_blockchain.transactions` AS A
INNER JOIN (
  SELECT
    to_address,
    MAX(block_timestamp) AS Max
  FROM
    `bigquery-public-data.ethereum_blockchain.transactions`
  GROUP BY
    to_address) AS A1
ON
  A.to_address = A1.to_address
  AND A.block_timestamp = A1.Max
  
WHERE
  A.to_address = ‘0x6ebeaf8e8e946f0716e6533a6f2cefc83f60e8ab’
  OR A.to_address=‘0x91b9d2835ad914bc1dcfe09bd1816febd04fd689’;
```

big queryからethereumのデータを取得したい

最初は、configファイルに以下のような定数を書いており、app.configから読み取ってgcpクライアントを利用するようにしていましたが、それだと不具合が発生することがわかり、共通モジュールを作成してその中で定数を使いまわそうと考えました。

そもそも、共通モジュールから定数群を利用する場合、classを作成して__init__関数内で読むようにすべきか、はてまた、以下のようにそのまま直書きで利用するようにすべきか、などメリットデメリットが良くわかっていません。
今は、共通モジュールを作成して以下のように書いていますが、configファイルの方はクラスを作成してその中で書いています。

なにか、こうしたほうがいいなどのアイデアがあればご教示いただけませんでしょうか？


```python
    if 'GCP_KEY' not in os.environ:
        raise Exception('KEY is mandatory')
    elif not os.environ.get("GCP_KEY"):
        raise Exception('KEY does not exsist')
    else:
        json_key_file = os.environ.get("GCP_KEY")

    if os.environ.get("CONFIG", "local") == "local":
        # Local
        STORAGE_CLIENT = storage.Client.from_service_account_json(json_key_file)
    else:
        # Staging
        STORAGE_CLIENT = storage.Client()
    BQ_CLIENT = get_client(PROJECT_ID, json_key_file=json_key_file, readonly=True)
```

pythonの定数をどう、どこに書くべきかのベストプラクティス

BigQueryで、巨大データに対して「PARTITION BY」のWINDOW関数を使うと以下のようなエラーが返ってくるかと思います。

```BigQuery
Error: Resources exceeded during query execution: The query could not be executed in the allotted memory. Sort operator used for PARTITION BY used too much memory..
```

上記の理解について、２点質問です。

●テーブル内のデータ(=レコード)には「並び順」という概念がない。
その為「PARTITION BY」のように、全レコードの並び順を操作する処理を走らせると、
上記エラーが返るという理解で良いか。

●分散処理させる（例えば、テーブル内の大きな塊を最初にELSEやWHERE句などで外す）ことで、
本件は回避できるものか。

どうぞ、よろしくお願いします。

【追記1】
```BigQuery
WITH T1 as (
	SELECT
		カラム1,
		カラム2,
		カラム3
	FROM
		テーブル1(2,000万レコード)

	UNION ALL

	SELECT
		カラム1,
		カラム2,
		カラム3
	FROM
		テーブル2(5,000万レコード)
)

SELECT
    ROW_NUMBER() OVER (PARTITION BY カラム1 ORDER BY カラム2, カラム3) as CNT
FROM T1
```

▼結果
> Error: Resources exceeded during query execution: The query could not be executed in the allotted memory. Sort operator used for PARTITION BY used too much memory..


【追記2】
現在、下記サイトを参考にしております。
引き続き、よろしくお願いします。

「大きなデータを取得する」
https://tech.starttoday-tech.com/entry/bigquery_data_reduction#%E5%A4%A7%E3%81%8D%E3%81%AA%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E5%8F%96%E5%BE%97%E3%81%99%E3%82%8B