回答編集履歴
5
追加
test
CHANGED
|
@@ -143,3 +143,29 @@
|
|
|
143
143
|
- {name: key2, type: STRING}
|
|
144
144
|
|
|
145
145
|
```
|
|
146
|
+
|
|
147
|
+
|
|
148
|
+
|
|
149
|
+
## 2019-4-16 20:52 追加
|
|
150
|
+
|
|
151
|
+
|
|
152
|
+
|
|
153
|
+
[Column Options](https://github.com/embulk/embulk-output-bigquery#column-options)
|
|
154
|
+
|
|
155
|
+
|
|
156
|
+
|
|
157
|
+
| Embulk type | BigQuery type | default |
|
|
158
|
+
|
|
159
|
+
|-------------|----------------------------------------------------|-----------|
|
|
160
|
+
|
|
161
|
+
| boolean: | BOOLEAN, STRING | BOOLEAN |
|
|
162
|
+
|
|
163
|
+
| long: | BOOLEAN, INTEGER, FLOAT, STRING, TIMESTAMP | INTEGER |
|
|
164
|
+
|
|
165
|
+
| double: | INTEGER, FLOAT, STRING, TIMESTAMP | FLOAT |
|
|
166
|
+
|
|
167
|
+
| string: | BOOLEAN, INTEGER, FLOAT, STRING, TIMESTAMP, RECORD | STRING |
|
|
168
|
+
|
|
169
|
+
| timestamp: | INTEGER, FLOAT, STRING, TIMESTAMP | TIMESTAMP |
|
|
170
|
+
|
|
171
|
+
| json: | STRING, RECORD | STRING |
|
4
追記
test
CHANGED
|
@@ -105,3 +105,41 @@
|
|
|
105
105
|
field: update_time
|
|
106
106
|
|
|
107
107
|
```
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
|
|
111
|
+
## 2019-4-16 19:58 追加
|
|
112
|
+
|
|
113
|
+
|
|
114
|
+
|
|
115
|
+
他の設定を真似したらいかがでしょうか？、YAMLの書き方が間違えています。YAMLの書き方を調べて習得してください。
|
|
116
|
+
|
|
117
|
+
|
|
118
|
+
|
|
119
|
+
[Column Options](https://github.com/embulk/embulk-output-bigquery#column-options)
|
|
120
|
+
|
|
121
|
+
|
|
122
|
+
|
|
123
|
+
```yaml
|
|
124
|
+
|
|
125
|
+
out:
|
|
126
|
+
|
|
127
|
+
type: bigquery
|
|
128
|
+
|
|
129
|
+
auto_create_table: true
|
|
130
|
+
|
|
131
|
+
column_options:
|
|
132
|
+
|
|
133
|
+
- {name: date, type: STRING, timestamp_format: %Y-%m-%d, timezone: "Asia/Tokyo"}
|
|
134
|
+
|
|
135
|
+
- name: json_column
|
|
136
|
+
|
|
137
|
+
type: RECORD
|
|
138
|
+
|
|
139
|
+
fields:
|
|
140
|
+
|
|
141
|
+
- {name: key1, type: STRING}
|
|
142
|
+
|
|
143
|
+
- {name: key2, type: STRING}
|
|
144
|
+
|
|
145
|
+
```
|
3
追加
test
CHANGED
|
@@ -51,3 +51,57 @@
|
|
|
51
51
|
|
|
52
52
|
|
|
53
53
|
これはembulkのところは、全く一緒に見えますが、bigqueryのところが何かちがうのでしょうか？
|
|
54
|
+
|
|
55
|
+
|
|
56
|
+
|
|
57
|
+
|
|
58
|
+
|
|
59
|
+
## 2019-4-16 19:15 追加
|
|
60
|
+
|
|
61
|
+
|
|
62
|
+
|
|
63
|
+
|
|
64
|
+
|
|
65
|
+
[こちら](https://tech.griphone.co.jp/2018/12/04/advent-calendar-20181204/)はご覧になりましたか？
|
|
66
|
+
|
|
67
|
+
|
|
68
|
+
|
|
69
|
+
> schema_fileはBigQueryのテーブルのスキーマ定義のファイルを指定しています。これはauto_create_tableを使用する時に必要です。schema_file以外の指定の方法としてtemplate_tableやcolumn_optionsを使う方法があります。詳しくはembulk-output-bigqueryの[README.md](https://github.com/embulk/embulk-output-bigquery#configuration)を見てみてください。
|
|
70
|
+
|
|
71
|
+
|
|
72
|
+
|
|
73
|
+
```yaml
|
|
74
|
+
|
|
75
|
+
out:
|
|
76
|
+
|
|
77
|
+
type: bigquery
|
|
78
|
+
|
|
79
|
+
auth_method: json_key
|
|
80
|
+
|
|
81
|
+
json_keyfile: '{{ env.bq_credential }}'
|
|
82
|
+
|
|
83
|
+
project: {{ env.bq_project }}
|
|
84
|
+
|
|
85
|
+
dataset: {{ env.bq_dataset }}
|
|
86
|
+
|
|
87
|
+
location: asia-northeast1
|
|
88
|
+
|
|
89
|
+
table: {{ env.bq_table }}
|
|
90
|
+
|
|
91
|
+
schema_file: {{ env.bq_table }}.json
|
|
92
|
+
|
|
93
|
+
default_timezone: Asia/Tokyo
|
|
94
|
+
|
|
95
|
+
auto_create_table: true
|
|
96
|
+
|
|
97
|
+
path_prefix: {{ env.bq_table }}
|
|
98
|
+
|
|
99
|
+
compression: GZIP
|
|
100
|
+
|
|
101
|
+
time_partitioning:
|
|
102
|
+
|
|
103
|
+
type: DAY
|
|
104
|
+
|
|
105
|
+
field: update_time
|
|
106
|
+
|
|
107
|
+
```
|
2
追加
test
CHANGED
|
@@ -37,3 +37,17 @@
|
|
|
37
37
|
|
|
38
38
|
|
|
39
39
|
ターゲットのテーブルを決して作り直すか、型を変える等が必要なのではないでしょうか？
|
|
40
|
+
|
|
41
|
+
|
|
42
|
+
|
|
43
|
+
```
|
|
44
|
+
|
|
45
|
+
NUMBER⇒double※embulkにより自動変換⇒float⇒float【●】
|
|
46
|
+
|
|
47
|
+
NUMBER⇒double※embulkにより自動変換⇒float⇒NUMERIC【×】
|
|
48
|
+
|
|
49
|
+
```
|
|
50
|
+
|
|
51
|
+
|
|
52
|
+
|
|
53
|
+
これはembulkのところは、全く一緒に見えますが、bigqueryのところが何かちがうのでしょうか？
|
1
追記
test
CHANGED
|
@@ -13,3 +13,27 @@
|
|
|
13
13
|
`schema_file`のサンプルはこちらにあるようです。
|
|
14
14
|
|
|
15
15
|
https://github.com/embulk/embulk-output-bigquery/blob/master/example/schema.json
|
|
16
|
+
|
|
17
|
+
|
|
18
|
+
|
|
19
|
+
## 2019-4-16 16:55 追加
|
|
20
|
+
|
|
21
|
+
|
|
22
|
+
|
|
23
|
+
`Provided Schema does not match Table yzk-gcp-project:srdcs_data.T_RS_TRAN_20190416. Field ORDER_NO has changed type from NUMERIC to STRING`
|
|
24
|
+
|
|
25
|
+
とあるように既存のテーブルと型が一致していないのではないでしょうか？
|
|
26
|
+
|
|
27
|
+
|
|
28
|
+
|
|
29
|
+
`schema_file`とか`template_table`は指定されているのでしょうか？
|
|
30
|
+
|
|
31
|
+
https://github.com/embulk/embulk-output-bigquery#dynamic-table-creating
|
|
32
|
+
|
|
33
|
+
|
|
34
|
+
|
|
35
|
+
また設定ファイルをご提供いただけないんですね。。
|
|
36
|
+
|
|
37
|
+
|
|
38
|
+
|
|
39
|
+
ターゲットのテーブルを決して作り直すか、型を変える等が必要なのではないでしょうか？
|