teratail
回答率
85.30%
teratail header banner
teratail header banner
質問するログイン新規登録
トップに関する質問embulkを使って大量データをBigQueryへバルクインサート時に一部データがスキップされる

編集履歴

質問編集履歴

3

質問内容の更新

2019/02/15 05:31

投稿

raccoondog
raccoondog

スコア77

title CHANGED
File without changes
body CHANGED
@@ -9,7 +9,7 @@
9
9
  ●Embulk定義ファイル
10
10
  in:
11
11
  type: file
12
- path_prefix: C:\Users\yazaki\Desktop\embulk\DATA_CSV
12
+ path_prefix: C:\Users\ｘｘｘ\Desktop\embulk\DATA_CSV
13
13
  parser:
14
14
  type: csv
15
15
  delimiter: ','
@@ -24,50 +24,12 @@
24
24
  allow_optional_columns: true
25
25
  columns:
26
26
  - {name: ORDER_NO, type: string}
27
- - {name: RS_TYPE, type: string}
28
- - {name: FACTORY_CODE, type: string}
29
27
  - {name: ORG_CODE, type: string}
30
28
  - {name: TRAN_DATE, type: timestamp, format: '%Y/%m/%d'}
31
- - {name: HINBAN, type: string}
32
- - {name: QTY, type: string}
33
- - {name: SLIP_NO, type: string}
34
- - {name: ITEM_NO, type: string}
35
- - {name: DIVISION_NO, type: string}
36
- - {name: FROM_FACTORY_CODE, type: string}
37
- - {name: FROM_ORG_CODE, type: string}
38
- - {name: FROM_SUBINV_CODE, type: string}
39
- - {name: FROM_VALUE_CODE, type: string}
40
- - {name: FROM_OPERATOR_NAME, type: string}
41
- - {name: TO_FACTORY_CODE, type: string}
42
- - {name: TO_ORG_CODE, type: string}
43
- - {name: TO_SUBINV_CODE, type: string}
44
- - {name: TO_VALUE_CODE, type: string}
45
- - {name: TO_OPERATOR_NAME, type: string}
46
- - {name: SUB_SYSTEM_TYPE1, type: string}
47
29
  - {name: CANCEL_FLAG, type: string}
48
30
  - {name: ACT_CREATION_DATE, type: timestamp, format: '%Y/%m/%d %H:%M:%S'}
49
31
  - {name: WH_ACT_CREATION_DATE, type: timestamp, format: '%Y/%m/%d %H:%M:%S'}
50
- - {name: JOB_CODE, type: string}
51
- - {name: UNIT_PRICE, type: string}
52
- - {name: ERROR_STATUS, type: string}
53
- - {name: DESCRIPTION, type: string}
54
- - {name: LOCATION, type: string}
55
- - {name: REVISION_NO, type: string}
56
- - {name: OPE_CODE, type: string}
57
- - {name: BOX_KIND, type: string}
58
- - {name: DEMAND_NO, type: string}
59
32
  - {name: SUB_NO, type: string}
60
- - {name: TRAFFIC_NO, type: string}
61
- - {name: IF_FLAG, type: string}
62
- - {name: SELL_BUY_DATA_FLAG, type: string}
63
- - {name: SOURCE_ORDER_NO, type: string}
64
- - {name: FT_DEFINE_ID, type: string}
65
- - {name: FROM_SELL_BUY_ID, type: string}
66
- - {name: TO_SELL_BUY_ID, type: string}
67
- - {name: CREATION_DATE, type: string}
68
- - {name: CREATED_BY, type: string}
69
- - {name: LAST_UPDATE_DATE, type: string}
70
- - {name: LAST_UPDATED_BY, type: string}
71
33
  - {name: UPDATE_REQUEST_ID, type: string}
72
34
  - {name: TIME_STAMP, type: timestamp, format: '%Y/%m/%d %H:%M:%S'}
73
35
  - {name: INV_UPDATE_FLAG, type: string}
@@ -75,37 +37,7 @@
75
37
  - {name: BACKUP_DATE, type: timestamp, format: '%Y/%m/%d %H:%M:%S'}
76
38
  - {name: SOUMEI_ID, type: string}
77
39
  - {name: GCPCS_IF_FLAG, type: string}
78
- - {name: GCPCS_IF_CREATION_DATE, type: string}
40
+
79
- - {name: RECIEPT_CODE, type: string}
80
- - {name: DELIV_BIN_NO, type: string}
81
- - {name: DELIV_NO, type: string}
82
- - {name: RECV_BIN_NO, type: string}
83
- - {name: SUB_SYSTEM_TYPE2, type: string}
84
- - {name: SHIP_DATE, type: string}
85
- - {name: C_NO, type: string}
86
- - {name: T_NO, type: string}
87
- - {name: RECV_OFFICE_CODE, type: string}
88
- - {name: SR_IF_FLAG, type: string}
89
- - {name: SR_IF_CREATION_DATE, type: string}
90
- - {name: PS_IF_FLAG, type: string}
91
- - {name: PS_IF_CREATION_DATE, type: string}
92
- - {name: CUSTOMER_CODE, type: string}
93
- - {name: KS_TYPE, type: string}
94
- - {name: SUPPLY_SECTION, type: string}
95
- - {name: MANAGE_NO, type: string}
96
- - {name: SEND_OFFICE_CODE, type: string}
97
- - {name: SOUMEI_SLIP_NO, type: string}
98
- - {name: SOUMEI_ITEM_NO, type: string}
99
- - {name: PS_YAZAKI_HINBAN, type: string}
100
- - {name: INVOICE_CASE_INFO_NO, type: string}
101
- - {name: GYK_SITE_CODE, type: string}
102
- - {name: CASE_NO, type: string}
103
- - {name: CASE_SUB_NO, type: string}
104
- - {name: FROM_LOCATION, type: string}
105
- - {name: TO_LOCATION, type: string}
106
- - {name: GYK_TRAN_TYPE, type: string}
107
- - {name: INV_INFO_UPDATE_FLAG, type: string}
108
- - {name: tmp, type: string}
109
41
  out: {type: bigquery, auth_method: json_key, json_keyfile: 'C:\Users\yazaki\Desktop\embulk\My
110
42
  First Project-6041ffecfba7.json', project: fluid-emissary-216806, dataset: embulk_test,
111
43
  auto_create_table: true, table: CSV_BQ_TABLE, open_read_timeout_sec: 360000, send_timeout_sec: 360000, read_timeout_sec: 360000}
@@ -115,86 +47,22 @@
115
47
 
116
48
  フィールド名　　　　　　　 タイプ モード
117
49
  ORDER_NO　　　　　　　　　 STRING NULLABLE
118
- RS_TYPE　　　　　　　　　　 STRING NULLABLE
119
- FACTORY_CODE　　　　　　　 STRING NULLABLE
120
50
  ORG_CODE　　　　　　　　　 STRING NULLABLE
121
51
  TRAN_DATE　　　　　　　　　 TIMESTAMP NULLABLE
122
52
  HINBAN　　　　　　　　　　 STRING NULLABLE
123
53
  QTY　　　　　　　　　　　　 STRING NULLABLE
124
- SLIP_NO　　　　　　　　　　 STRING NULLABLE
125
- ITEM_NO　　　　　　　　　　 STRING NULLABLE
126
- DIVISION_NO　　　　　　　　 STRING NULLABLE
127
- FROM_FACTORY_CODE　　　　　 STRING NULLABLE
128
- FROM_ORG_CODE　　　　　　　 STRING NULLABLE
129
- FROM_SUBINV_CODE　　　　　 STRING NULLABLE
130
- FROM_VALUE_CODE　　　　　　 STRING NULLABLE
131
- FROM_OPERATOR_NAME　　　　 STRING NULLABLE
132
- TO_FACTORY_CODE　　　　　　 STRING NULLABLE
133
- TO_ORG_CODE　　　　　　　　 STRING NULLABLE
134
- TO_SUBINV_CODE　　　　　　 STRING NULLABLE
135
- TO_VALUE_CODE　　　　　　　 STRING NULLABLE
136
- TO_OPERATOR_NAME　　　　　 STRING NULLABLE
137
54
  SUB_SYSTEM_TYPE1　　　　　 STRING NULLABLE
138
55
  CANCEL_FLAG　　　　　　　　 STRING NULLABLE
139
56
  ACT_CREATION_DATE　　　　　 TIMESTAMP NULLABLE
140
57
  WH_ACT_CREATION_DATE　　　 TIMESTAMP NULLABLE
141
58
  JOB_CODE　　　　　　　　　 STRING NULLABLE
142
- UNIT_PRICE　　　　　　　　 STRING NULLABLE
143
- ERROR_STATUS　　　　　　　 STRING NULLABLE
144
- DESCRIPTION　　　　　　　　 STRING NULLABLE
145
- LOCATION　　　　　　　　　 STRING NULLABLE
146
- REVISION_NO　　　　　　　　 STRING NULLABLE
147
- OPE_CODE　　　　　　　　　 STRING NULLABLE
148
- BOX_KIND　　　　　　　　　 STRING NULLABLE
149
- DEMAND_NO　　　　　　　　　 STRING NULLABLE
150
- SUB_NO　　　　　　　　　　 STRING NULLABLE
151
- TRAFFIC_NO　　　　　　　　 STRING NULLABLE
152
- IF_FLAG　　　　　　　　　　 STRING NULLABLE
153
- SELL_BUY_DATA_FLAG　　　　 STRING NULLABLE
154
- SOURCE_ORDER_NO　　　　　　 STRING NULLABLE
155
- FT_DEFINE_ID　　　　　　　 STRING NULLABLE
156
- FROM_SELL_BUY_ID　　　　　 STRING NULLABLE
157
- TO_SELL_BUY_ID　　　　　　 STRING NULLABLE
158
- CREATION_DATE　　　　　　　 STRING NULLABLE
159
- CREATED_BY　　　　　　　　 STRING NULLABLE
160
- LAST_UPDATE_DATE　　　　　 STRING NULLABLE
161
- LAST_UPDATED_BY　　　　　　 STRING NULLABLE
162
- UPDATE_REQUEST_ID　　　　　 STRING NULLABLE
163
59
  TIME_STAMP　　　　　　　　 TIMESTAMP NULLABLE
164
60
  INV_UPDATE_FLAG　　　　　　 STRING NULLABLE
165
61
  ISSUE_SEQ　　　　　　　　　 STRING NULLABLE
166
62
  BACKUP_DATE　　　　　　　　 TIMESTAMP NULLABLE
167
- SOUMEI_ID　　　　　　　　　 STRING NULLABLE
168
- GCPCS_IF_FLAG　　　　　　　 STRING NULLABLE
169
- GCPCS_IF_CREATION_DATE　　 STRING NULLABLE
170
- RECIEPT_CODE　　　　　　　 STRING NULLABLE
171
- DELIV_BIN_NO　　　　　　　 STRING NULLABLE
172
- DELIV_NO　　　　　　　　　 STRING NULLABLE
173
- RECV_BIN_NO　　　　　　　　 STRING NULLABLE
174
- SUB_SYSTEM_TYPE2　　　　　 STRING NULLABLE
175
- SHIP_DATE　　　　　　　　　 STRING NULLABLE
176
63
  C_NO　　　　　　　　　　　 STRING NULLABLE
177
64
  T_NO　　　　　　　　　　　 STRING NULLABLE
178
65
  RECV_OFFICE_CODE　　　　　 STRING NULLABLE
179
- SR_IF_FLAG　　　　　　　　 STRING NULLABLE
180
- SR_IF_CREATION_DATE　　　　 STRING NULLABLE
181
- PS_IF_FLAG　　　　　　　　 STRING NULLABLE
182
- PS_IF_CREATION_DATE　　　　 STRING NULLABLE
183
- CUSTOMER_CODE　　　　　　　 STRING NULLABLE
184
- KS_TYPE　　　　　　　　　　 STRING NULLABLE
185
- SUPPLY_SECTION　　　　　　 STRING NULLABLE
186
- MANAGE_NO　　　　　　　　　 STRING NULLABLE
187
- SEND_OFFICE_CODE　　　　　 STRING NULLABLE
188
- SOUMEI_SLIP_NO　　　　　　 STRING NULLABLE
189
- SOUMEI_ITEM_NO　　　　　　 STRING NULLABLE
190
- PS_YAZAKI_HINBAN　　　　　 STRING NULLABLE
191
- INVOICE_CASE_INFO_NO　　　 STRING NULLABLE
192
- GYK_SITE_CODE　　　　　　　 STRING NULLABLE
193
- CASE_NO　　　　　　　　　　 STRING NULLABLE
194
- CASE_SUB_NO　　　　　　　　 STRING NULLABLE
195
- FROM_LOCATION　　　　　　　 STRING NULLABLE
196
- TO_LOCATION　　　　　　　　 STRING NULLABLE
197
- GYK_TRAN_TYPE　　　　　　　 STRING NULLABLE
198
66
  INV_INFO_UPDATE_FLAG　　　 STRING NULLABLE
199
67
  tmp　　　　　　　　　　　　 STRING NULLABLE
200
68
  ```

2

質問内容更新

2019/02/15 05:31

投稿

raccoondog
raccoondog

スコア77

title CHANGED
File without changes
body CHANGED
@@ -1,6 +1,10 @@
1
1
  Embulkを使って、OracleDBのデータをBigQueryへバルクインサートする際に5000万件ほどのデータを処理すると一部スキップされてしまいます。
2
2
 
3
+ embulkの定義ファイルで指定したカラムの型と
4
+ Bigquery側で生成されるテーブルのカラムの型は
3
5
 
6
+ 一致しているのですが、一部レコードがスキップされる事象が発生する原因を知りたいです。
7
+
4
8
  ```ここに言語を入力
5
9
  ●Embulk定義ファイル
6
10
  in:

1

質問内容更新

2019/02/15 03:19

投稿

raccoondog
raccoondog

スコア77

title CHANGED
File without changes
body CHANGED
@@ -193,8 +193,18 @@
193
193
  GYK_TRAN_TYPE　　　　　　　 STRING NULLABLE
194
194
  INV_INFO_UPDATE_FLAG　　　 STRING NULLABLE
195
195
  tmp　　　　　　　　　　　　 STRING NULLABLE
196
+ ```
196
197
 
198
+ ```ここに言語を入力
199
+ ●実行結果
197
200
 
201
+ ・
202
+ （中略）
203
+ ・
204
+ 2019-02-15 09:12:04.801 +0900 [INFO] (0001:transaction): {done: 8 / 79, running: 7}
205
+ 2019-02-15 09:12:04.985 +0900 [WARN] (0025:task-0015): Skipped line 82 (org.embulk.spi.time.TimestampParseException: Cannot parse '2018/09/21' by '%Y/%m/%d %H:%M:%S'): "35401536","2","8000","ZPD",2018/10/07,"L571ZW3SDWBD",10,"7NARTLDPH","66",0,"7500","BM0","UIIQ7LOGNI","PLPJ","WJWYWDZFFDZGUUDAQUH","7800","VOP","PH4GRLMBJ1","FNYZPJD","UGFYHBHIPZBCNPZIYKIWWHANJKHUEQ","L","0",2018/09/21,,"J",,"0","TCLJHNVEKMGBJZKQNBNPWJANCBSZXNBATJKB","ZVT","V","JLIMJN","FJWJMJDNBI","JQWOQAHU",,"F","1","J",,,,,,"AFNGJHJJQKFZIR",,"LJBQYC",,2018/12/04 12:11:13,"U","LBBTSNDFV",2018/12/03 09:30:44,,"1",,"WOK","HDU","ZBDGZEZ","JWP","X",,"JK","ZX","AEYM","1",,"1",,"IMN","S","HCFZNQ","KIHHWY","A","AUMN","B","FZVKGUAUYEXZOXWUBPMYECZBTCXVZXNCXI",,"KJ3",,,"IE","QZQNAHMCWBYKZ","14","1",
206
+ ・
207
+ （中略）
208
+ ・
198
209
 
199
-
200
210
  ```