常連

注目の的

社会貢献

質問力

自己紹介

### 前提・実現したいこと

bigqueryで複数テーブルにまたがっている型の違うカラムを一つにまとめたいです。

カラム名が同一だが、型がINTとfloatでバラバラになってしまっている複数のテーブルがあります。
これを、INTのものをfloatに変更し、すべてのデータを一つのテーブルにまとめられるようにしたいです。

テーブルが100以上あるため、一括でまとめられる方法を探しています。

【データイメージ】
table_1
カラム　ID,value　→valueの型はINT

table_2
カラム　ID,value　→valueの型はfloat

・
・
・

table_100
カラム　ID,value　→valueの型はINT

上記をすべて結合し、一つのtableにしたい
↓
table_all
カラム　ID,value　→valueの型はfloatに統一



### 発生している問題・エラーメッセージ

```
Cannot read field 'value' of type FLOAT64 as INT64
```

### 該当のソースコード

```sql
SELECT 
ID, cast(value as Float64) as value2
FROM `table_*`

```

### 試したこと

ワイルドカードを使って複数テーブルを一括指定すると、カラムの型が異なるため、エラーが発生します。
一つのテーブルのみを指定すればINT→floatへの型変換を行えましたが、テーブル数が多いため、一括で変更できる方法を探しています。

初心者でお手数をおかけいたしますが
何卒よろしくお願いいたします。

【bigquery】複数テーブルで型の違うカラムを一つのテーブルにまとめたい

はじめまして。
プログラミング、超初心者なので、
かなり初歩的な質問になりますが、
ご教示いただけますと誠に幸いです。


▼いま、やっている事
---

GCPの下記をやってみています。

bq コマンドライン ツールの使用に関するクイックスタート
https://cloud.google.com/bigquery/docs/quickstarts/quickstart-command-line?hl=ja

▼躓いている箇所
---

クエリの実行の部分で躓いています。

コマンドを入力しても、ページにあるような出力がでてこず、エラーが出ています。


▼出ているエラー
---

添付します。

Google Cloud SDK Shell
![イメージ説明](1da4cb7092dd117adb7ea21431173460.png)

CloudShell
![イメージ説明](d1bbeea056033601a0ae3504f81d1f1d.png)

の両方で試してみましたがエラーがでます。

■質問したい内容
---

まず、使っているシェルは間違いないでしょうか？
コマンドの入力の仕方（使い方？）は間違ってないでしょうか？
何が原因でしょうか？


大変恐縮ですが、なんとかコマンドでできるようにしたいと思っております。
よろしくお願いいたします。

GCPのクエリの実行の方法がわからない。

SASでN日前かを数値の日付から求めたいと考えています。

ex.2019年10月1日と2019年9月1日の差、30日を求めたいとします。


data test;
 input past now;  
 cards; 
 20190901 20191001
run;


data test_02;
 set test;
 
 past_date2 = input(put(past,8.), yyyymmdd8.);
 now_date2 = input(put(now,8.), yyyymmdd8.);
 
data test_03;
 set test_02;
 
 difference=intck('day',now_date,past_date);
 
run;


上記のコードで、differenceが求められません。
どのように修正すればよいでしょうか？

SASでN日前かを数値の日付から求めたい

### 前提・実現したいこと

Big Queryでテーブルを作って、開始日と終了日の差分を出したいです。

```SQL
WITH　table　AS(													
SELECT　"2019-08-16 07:45:15" AS start_time, "2019-08-21 03:01:49" AS end_time	
UNION ALL SELECT  "2019-08-15 06:56:29" AS start_time, "2019-09-23 06:01:28" AS end_time	
)

SELECT
  DATETIME_DIFF(DATETIME start_time, DATETIME end_time, DAY) as difference
FROM table
;
```


### 発生している問題・エラーメッセージ

```
Syntax error: Expected ")" but got identifier "start_time"
```


### 試したこと

TIMESTAMP(start_time)としてもエラー

### 補足情報（FW/ツールのバージョンなど）

Big Query　サンドボックス

テーブルを作って、開始日と終了日の差分を出したいです。

### 前提・実現したいこと
単位時間ごとに集計値を算出して、別データフレームに格納したいです。
超初心者です。よろしくお願いします。

### 発生している問題
python3,jupyterです。
もともとこういったデータフレーム"df"があります。
![![イメージ説明](b35aa1690f13d7a789e9490d1ee23337.jpeg)説明](3cb11c38e07c929f5c1b41846a8138ce.jpeg)](9aa54e2edebe42a680d3316c6d3637aa.jpeg)

右端の"group"列は0～59の数値があり、この"group"別に、かつ各"id"(左の列)それぞれに対して以下の2つの値を算出したいです。

1.　Lの（最大値）-（Lの最小値）
2.　Tの（最大値）-（Tの最小値）

どうすればよいでしょうか。

エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと
df_ = {}
for name, group in df.groupby('group'):
    df_[name] = group

のように0～59までそれぞれの別データフレームに格納したりしましたが、できれば一括で処理したいです。

pythonに関する質問です。

jupyter notebook　を使って機械学習の基礎を学習しています。

言語は　Python3

```
import imageio
import numpy as np

# 写真は全て 75ピクセル × 75ピクセル のRGBカラー画像
PHOTO_SIZE = 75 * 75 * 3

# 空の配列（計測データ X と教師データ y）を用意する
X = np.empty((0, PHOTO_SIZE), np.uint8)
y = np.empty(0, np.uint8)

# 犬と猫の画像を配列形式で読み込んでXに格納（axis = 0で二次元配列の縦（行）に要素を追加する）
# y には 犬 なら 0, 猫 なら 1 で整数値のデータを追加
for i in range(1, 201):
    p1 = imageio.imread(f"dc_photos/dogs/dog-{i:03d}.jpg").reshape(1, PHOTO_SIZE)
    X = np.append(X, p1, axis = 0)
    y = np.append(y, np.array([0], dtype = np.uint8))
    
    p2 = imageio.imread(f"dc_photos/cats/cat-{i:03d}.jpg").reshape(1, PHOTO_SIZE)
    X = np.append(X, p2, axis = 0)
    y = np.append(y, np.array([1], dtype = np.uint8))
```

として画像を配列に格納したあとに、

この画像を最初の１０個くらいを確認するため画像を表示をしたいですが、
うまくコードがかけません。　アドバイスをいただけますか？


```
print(X.shape)
print(y.shape)

(400, 16875)

(400,)
```


今現状は、



```

import imageio
import numpy as np
import matplotlib.pyplot as plt

fig = plt.figure()

for i , x in enumerate(X[:10],0):
    sp = fig.add_subplot(2,5,(i + 1))
    sp.imshow(x.reshape(8,8),cmap="gray")
```


としてみたのですが、　reshapeでエラーがでている　ようです。
![エラー文](16a8c99c391aba1da0641dc84fbd8ebe.png)



宜しくお願い致します。

犬と猫の画像分類問題で、画像をJupyternotebookに表示する方法

BigQueryにて、**イベントA -> イベントB -> event_params.value.string_value**
の順にフローを踏んだユーザー数の集計を行いたい

[こちらの記事](https://qiita.com/osapiii/items/4c4ba5f55e0c313713ba)を参考にイベントA -> イベントB -> イベントC のようなファネル分析は集計できたのですが、**イベントA -> イベントB -> event_params.value.string_value** のようにevent_param値を含めたクエリの書き方が分かりません。

↓イベントA -> イベントB -> イベントC　の集計クエリ
```sql
#standardSQL

-- FIrebaseAnalyticsのサンプルデータセットで、①初回起動 --> ②no_more_extra_steps --> ③spend_virtual_currencyのクローズドファネルを計測

WITH
data AS (
  SELECT
    user_pseudo_id,
    event_timestamp AS timestamp,
    -- ファネルステップ１のイベント名を入れる
    (CASE event_name WHEN "first_open" THEN event_timestamp END) AS step_0_timestamp,
    -- ファネルステップ2のイベント名を入れる
    (CASE event_name WHEN "no_more_extra_steps" THEN event_timestamp END) AS step_1_timestamp,
    -- ファネルステップ3のイベント名を入れる（※ここでevent_params.value.string_value のようにevent_param値のtimestampを取りたい）
    (CASE event_name WHEN "spend_virtual_currency" THEN event_timestamp END) AS step_2_timestamp
  FROM
    -- 例では、Firebaseのサンプルデータセットを使用していますが、お使いの環境に合わせて変更します。
    -- 年次のファネルを作っていますが、読み込む日付範囲を変更する事で、ファネルのタイムウィンドウを絞り込めます
    `firebase-public-project.analytics_153293282.events_2018*`,
    UNNEST(event_params) as params
),

funnel AS (
  SELECT
    user_pseudo_id,
    timestamp,
    LAST_VALUE(step_0_timestamp IGNORE NULLS) OVER(PARTITION BY user_pseudo_id ORDER BY timestamp) AS step_0_funnel,
    LAST_VALUE(step_1_timestamp IGNORE NULLS) OVER(PARTITION BY user_pseudo_id ORDER BY timestamp) AS step_1_funnel,
    LAST_VALUE(step_2_timestamp IGNORE NULLS) OVER(PARTITION BY user_pseudo_id ORDER BY timestamp) AS step_2_funnel
  FROM data
)

SELECT
  1 as step_num,
  COUNT(
    DISTINCT CASE
    WHEN step_0_funnel IS NOT NULL
    THEN step_0_funnel END
  ) AS count
  FROM funnel
UNION ALL SELECT
  2 as step_num,
  COUNT(
    DISTINCT CASE
    WHEN step_0_funnel IS NOT NULL
      AND step_1_funnel IS NOT NULL AND step_0_funnel < step_1_funnel
    THEN step_0_funnel END
  ) AS count
  FROM funnel
UNION ALL SELECT
  3 as step_num,
  COUNT(
    DISTINCT CASE
    WHEN step_0_funnel IS NOT NULL
      AND step_1_funnel IS NOT NULL AND step_0_funnel < step_1_funnel
      AND step_2_funnel IS NOT NULL AND step_1_funnel < step_2_funnel
    THEN step_0_funnel END
  ) AS count
  FROM funnel
ORDER BY step_num
;
```


一応以下の記述でevent_param値の件数自体は出せたのですが、上記のファネル集計のクエリにどう組み込めばよいでしょうか。
または違うアプローチで集計できる方法があれば教えていただけないでしょうか。


```sql
WITH
data AS (
  SELECT
    (SELECT value.string_value  FROM UNNEST(event_params) AS x WHERE x.key = "[event_params.key名]") AS content 
  FROM
    `[表名]` 
  WHERE
    event_name = '[イベント名]'
)
SELECT * FROM data
WHERE content = '[event_params.value.string_value名]'
```

BigQueryでクローズドファネル分析をするクエリの記述方法が知りたい

CSSで添付のような矢印を作成したいのですが、可能でしょうか。

after擬似要素でborderを利用したやり方で矢印を作成する方法がありますが、
この角度はbeforeも使わないとダメかと思っております。

![イメージ説明](68d38bc4613a3b018515b94193ba1e01.jpeg)