teratail
回答率
85.48%
質問するログイン新規登録
トップに関する質問embulkを使って大量データをBigQueryへバルクインサート時に一部データがスキップされる

編集履歴

質問編集履歴

3

質問内容の更新

2019/02/15 05:31

投稿

raccoondog
raccoondog

スコア77

test CHANGED
File without changes
test CHANGED
@@ -20,7 +20,7 @@
20
20
 
21
21
  type: file
22
22
 
23
- path_prefix: C:\Users\yazaki\Desktop\embulk\DATA_CSV
23
+ path_prefix: C:\Users\ｘｘｘ\Desktop\embulk\DATA_CSV
24
24
 
25
25
  parser:
26
26
 
@@ -50,45 +50,9 @@
50
50
 
51
51
  - {name: ORDER_NO, type: string}
52
52
 
53
- - {name: RS_TYPE, type: string}
54
-
55
- - {name: FACTORY_CODE, type: string}
56
-
57
53
  - {name: ORG_CODE, type: string}
58
54
 
59
55
  - {name: TRAN_DATE, type: timestamp, format: '%Y/%m/%d'}
60
-
61
- - {name: HINBAN, type: string}
62
-
63
- - {name: QTY, type: string}
64
-
65
- - {name: SLIP_NO, type: string}
66
-
67
- - {name: ITEM_NO, type: string}
68
-
69
- - {name: DIVISION_NO, type: string}
70
-
71
- - {name: FROM_FACTORY_CODE, type: string}
72
-
73
- - {name: FROM_ORG_CODE, type: string}
74
-
75
- - {name: FROM_SUBINV_CODE, type: string}
76
-
77
- - {name: FROM_VALUE_CODE, type: string}
78
-
79
- - {name: FROM_OPERATOR_NAME, type: string}
80
-
81
- - {name: TO_FACTORY_CODE, type: string}
82
-
83
- - {name: TO_ORG_CODE, type: string}
84
-
85
- - {name: TO_SUBINV_CODE, type: string}
86
-
87
- - {name: TO_VALUE_CODE, type: string}
88
-
89
- - {name: TO_OPERATOR_NAME, type: string}
90
-
91
- - {name: SUB_SYSTEM_TYPE1, type: string}
92
56
 
93
57
  - {name: CANCEL_FLAG, type: string}
94
58
 
@@ -96,47 +60,7 @@
96
60
 
97
61
  - {name: WH_ACT_CREATION_DATE, type: timestamp, format: '%Y/%m/%d %H:%M:%S'}
98
62
 
99
- - {name: JOB_CODE, type: string}
100
-
101
- - {name: UNIT_PRICE, type: string}
102
-
103
- - {name: ERROR_STATUS, type: string}
104
-
105
- - {name: DESCRIPTION, type: string}
106
-
107
- - {name: LOCATION, type: string}
108
-
109
- - {name: REVISION_NO, type: string}
110
-
111
- - {name: OPE_CODE, type: string}
112
-
113
- - {name: BOX_KIND, type: string}
114
-
115
- - {name: DEMAND_NO, type: string}
116
-
117
63
  - {name: SUB_NO, type: string}
118
-
119
- - {name: TRAFFIC_NO, type: string}
120
-
121
- - {name: IF_FLAG, type: string}
122
-
123
- - {name: SELL_BUY_DATA_FLAG, type: string}
124
-
125
- - {name: SOURCE_ORDER_NO, type: string}
126
-
127
- - {name: FT_DEFINE_ID, type: string}
128
-
129
- - {name: FROM_SELL_BUY_ID, type: string}
130
-
131
- - {name: TO_SELL_BUY_ID, type: string}
132
-
133
- - {name: CREATION_DATE, type: string}
134
-
135
- - {name: CREATED_BY, type: string}
136
-
137
- - {name: LAST_UPDATE_DATE, type: string}
138
-
139
- - {name: LAST_UPDATED_BY, type: string}
140
64
 
141
65
  - {name: UPDATE_REQUEST_ID, type: string}
142
66
 
@@ -152,67 +76,7 @@
152
76
 
153
77
  - {name: GCPCS_IF_FLAG, type: string}
154
78
 
155
- - {name: GCPCS_IF_CREATION_DATE, type: string}
79
+
156
-
157
- - {name: RECIEPT_CODE, type: string}
158
-
159
- - {name: DELIV_BIN_NO, type: string}
160
-
161
- - {name: DELIV_NO, type: string}
162
-
163
- - {name: RECV_BIN_NO, type: string}
164
-
165
- - {name: SUB_SYSTEM_TYPE2, type: string}
166
-
167
- - {name: SHIP_DATE, type: string}
168
-
169
- - {name: C_NO, type: string}
170
-
171
- - {name: T_NO, type: string}
172
-
173
- - {name: RECV_OFFICE_CODE, type: string}
174
-
175
- - {name: SR_IF_FLAG, type: string}
176
-
177
- - {name: SR_IF_CREATION_DATE, type: string}
178
-
179
- - {name: PS_IF_FLAG, type: string}
180
-
181
- - {name: PS_IF_CREATION_DATE, type: string}
182
-
183
- - {name: CUSTOMER_CODE, type: string}
184
-
185
- - {name: KS_TYPE, type: string}
186
-
187
- - {name: SUPPLY_SECTION, type: string}
188
-
189
- - {name: MANAGE_NO, type: string}
190
-
191
- - {name: SEND_OFFICE_CODE, type: string}
192
-
193
- - {name: SOUMEI_SLIP_NO, type: string}
194
-
195
- - {name: SOUMEI_ITEM_NO, type: string}
196
-
197
- - {name: PS_YAZAKI_HINBAN, type: string}
198
-
199
- - {name: INVOICE_CASE_INFO_NO, type: string}
200
-
201
- - {name: GYK_SITE_CODE, type: string}
202
-
203
- - {name: CASE_NO, type: string}
204
-
205
- - {name: CASE_SUB_NO, type: string}
206
-
207
- - {name: FROM_LOCATION, type: string}
208
-
209
- - {name: TO_LOCATION, type: string}
210
-
211
- - {name: GYK_TRAN_TYPE, type: string}
212
-
213
- - {name: INV_INFO_UPDATE_FLAG, type: string}
214
-
215
- - {name: tmp, type: string}
216
80
 
217
81
  out: {type: bigquery, auth_method: json_key, json_keyfile: 'C:\Users\yazaki\Desktop\embulk\My
218
82
 
@@ -232,10 +96,6 @@
232
96
 
233
97
  ORDER_NO　　　　　　　　　 STRING NULLABLE
234
98
 
235
- RS_TYPE　　　　　　　　　　 STRING NULLABLE
236
-
237
- FACTORY_CODE　　　　　　　 STRING NULLABLE
238
-
239
99
  ORG_CODE　　　　　　　　　 STRING NULLABLE
240
100
 
241
101
  TRAN_DATE　　　　　　　　　 TIMESTAMP NULLABLE
@@ -243,32 +103,6 @@
243
103
  HINBAN　　　　　　　　　　 STRING NULLABLE
244
104
 
245
105
  QTY　　　　　　　　　　　　 STRING NULLABLE
246
-
247
- SLIP_NO　　　　　　　　　　 STRING NULLABLE
248
-
249
- ITEM_NO　　　　　　　　　　 STRING NULLABLE
250
-
251
- DIVISION_NO　　　　　　　　 STRING NULLABLE
252
-
253
- FROM_FACTORY_CODE　　　　　 STRING NULLABLE
254
-
255
- FROM_ORG_CODE　　　　　　　 STRING NULLABLE
256
-
257
- FROM_SUBINV_CODE　　　　　 STRING NULLABLE
258
-
259
- FROM_VALUE_CODE　　　　　　 STRING NULLABLE
260
-
261
- FROM_OPERATOR_NAME　　　　 STRING NULLABLE
262
-
263
- TO_FACTORY_CODE　　　　　　 STRING NULLABLE
264
-
265
- TO_ORG_CODE　　　　　　　　 STRING NULLABLE
266
-
267
- TO_SUBINV_CODE　　　　　　 STRING NULLABLE
268
-
269
- TO_VALUE_CODE　　　　　　　 STRING NULLABLE
270
-
271
- TO_OPERATOR_NAME　　　　　 STRING NULLABLE
272
106
 
273
107
  SUB_SYSTEM_TYPE1　　　　　 STRING NULLABLE
274
108
 
@@ -280,48 +114,6 @@
280
114
 
281
115
  JOB_CODE　　　　　　　　　 STRING NULLABLE
282
116
 
283
- UNIT_PRICE　　　　　　　　 STRING NULLABLE
284
-
285
- ERROR_STATUS　　　　　　　 STRING NULLABLE
286
-
287
- DESCRIPTION　　　　　　　　 STRING NULLABLE
288
-
289
- LOCATION　　　　　　　　　 STRING NULLABLE
290
-
291
- REVISION_NO　　　　　　　　 STRING NULLABLE
292
-
293
- OPE_CODE　　　　　　　　　 STRING NULLABLE
294
-
295
- BOX_KIND　　　　　　　　　 STRING NULLABLE
296
-
297
- DEMAND_NO　　　　　　　　　 STRING NULLABLE
298
-
299
- SUB_NO　　　　　　　　　　 STRING NULLABLE
300
-
301
- TRAFFIC_NO　　　　　　　　 STRING NULLABLE
302
-
303
- IF_FLAG　　　　　　　　　　 STRING NULLABLE
304
-
305
- SELL_BUY_DATA_FLAG　　　　 STRING NULLABLE
306
-
307
- SOURCE_ORDER_NO　　　　　　 STRING NULLABLE
308
-
309
- FT_DEFINE_ID　　　　　　　 STRING NULLABLE
310
-
311
- FROM_SELL_BUY_ID　　　　　 STRING NULLABLE
312
-
313
- TO_SELL_BUY_ID　　　　　　 STRING NULLABLE
314
-
315
- CREATION_DATE　　　　　　　 STRING NULLABLE
316
-
317
- CREATED_BY　　　　　　　　 STRING NULLABLE
318
-
319
- LAST_UPDATE_DATE　　　　　 STRING NULLABLE
320
-
321
- LAST_UPDATED_BY　　　　　　 STRING NULLABLE
322
-
323
- UPDATE_REQUEST_ID　　　　　 STRING NULLABLE
324
-
325
117
  TIME_STAMP　　　　　　　　 TIMESTAMP NULLABLE
326
118
 
327
119
  INV_UPDATE_FLAG　　　　　　 STRING NULLABLE
@@ -330,67 +122,11 @@
330
122
 
331
123
  BACKUP_DATE　　　　　　　　 TIMESTAMP NULLABLE
332
124
 
333
- SOUMEI_ID　　　　　　　　　 STRING NULLABLE
334
-
335
- GCPCS_IF_FLAG　　　　　　　 STRING NULLABLE
336
-
337
- GCPCS_IF_CREATION_DATE　　 STRING NULLABLE
338
-
339
- RECIEPT_CODE　　　　　　　 STRING NULLABLE
340
-
341
- DELIV_BIN_NO　　　　　　　 STRING NULLABLE
342
-
343
- DELIV_NO　　　　　　　　　 STRING NULLABLE
344
-
345
- RECV_BIN_NO　　　　　　　　 STRING NULLABLE
346
-
347
- SUB_SYSTEM_TYPE2　　　　　 STRING NULLABLE
348
-
349
- SHIP_DATE　　　　　　　　　 STRING NULLABLE
350
-
351
125
  C_NO　　　　　　　　　　　 STRING NULLABLE
352
126
 
353
127
  T_NO　　　　　　　　　　　 STRING NULLABLE
354
128
 
355
129
  RECV_OFFICE_CODE　　　　　 STRING NULLABLE
356
-
357
- SR_IF_FLAG　　　　　　　　 STRING NULLABLE
358
-
359
- SR_IF_CREATION_DATE　　　　 STRING NULLABLE
360
-
361
- PS_IF_FLAG　　　　　　　　 STRING NULLABLE
362
-
363
- PS_IF_CREATION_DATE　　　　 STRING NULLABLE
364
-
365
- CUSTOMER_CODE　　　　　　　 STRING NULLABLE
366
-
367
- KS_TYPE　　　　　　　　　　 STRING NULLABLE
368
-
369
- SUPPLY_SECTION　　　　　　 STRING NULLABLE
370
-
371
- MANAGE_NO　　　　　　　　　 STRING NULLABLE
372
-
373
- SEND_OFFICE_CODE　　　　　 STRING NULLABLE
374
-
375
- SOUMEI_SLIP_NO　　　　　　 STRING NULLABLE
376
-
377
- SOUMEI_ITEM_NO　　　　　　 STRING NULLABLE
378
-
379
- PS_YAZAKI_HINBAN　　　　　 STRING NULLABLE
380
-
381
- INVOICE_CASE_INFO_NO　　　 STRING NULLABLE
382
-
383
- GYK_SITE_CODE　　　　　　　 STRING NULLABLE
384
-
385
- CASE_NO　　　　　　　　　　 STRING NULLABLE
386
-
387
- CASE_SUB_NO　　　　　　　　 STRING NULLABLE
388
-
389
- FROM_LOCATION　　　　　　　 STRING NULLABLE
390
-
391
- TO_LOCATION　　　　　　　　 STRING NULLABLE
392
-
393
- GYK_TRAN_TYPE　　　　　　　 STRING NULLABLE
394
130
 
395
131
  INV_INFO_UPDATE_FLAG　　　 STRING NULLABLE
396
132
 

2

質問内容更新

2019/02/15 05:31

投稿

raccoondog
raccoondog

スコア77

test CHANGED
File without changes
test CHANGED
@@ -2,6 +2,14 @@
2
2
 
3
3
 
4
4
 
5
+ embulkの定義ファイルで指定したカラムの型と
6
+
7
+ Bigquery側で生成されるテーブルのカラムの型は
8
+
9
+
10
+
11
+ 一致しているのですが、一部レコードがスキップされる事象が発生する原因を知りたいです。
12
+
5
13
 
6
14
 
7
15
  ```ここに言語を入力

1

質問内容更新

2019/02/15 03:19

投稿

raccoondog
raccoondog

スコア77

test CHANGED
File without changes
test CHANGED
@@ -388,12 +388,32 @@
388
388
 
389
389
  tmp　　　　　　　　　　　　 STRING NULLABLE
390
390
 
391
-
392
-
393
-
394
-
395
-
396
-
397
-
398
-
399
391
  ```
392
+
393
+
394
+
395
+ ```ここに言語を入力
396
+
397
+ ●実行結果
398
+
399
+
400
+
401
+ ・
402
+
403
+ （中略）
404
+
405
+ ・
406
+
407
+ 2019-02-15 09:12:04.801 +0900 [INFO] (0001:transaction): {done: 8 / 79, running: 7}
408
+
409
+ 2019-02-15 09:12:04.985 +0900 [WARN] (0025:task-0015): Skipped line 82 (org.embulk.spi.time.TimestampParseException: Cannot parse '2018/09/21' by '%Y/%m/%d %H:%M:%S'): "35401536","2","8000","ZPD",2018/10/07,"L571ZW3SDWBD",10,"7NARTLDPH","66",0,"7500","BM0","UIIQ7LOGNI","PLPJ","WJWYWDZFFDZGUUDAQUH","7800","VOP","PH4GRLMBJ1","FNYZPJD","UGFYHBHIPZBCNPZIYKIWWHANJKHUEQ","L","0",2018/09/21,,"J",,"0","TCLJHNVEKMGBJZKQNBNPWJANCBSZXNBATJKB","ZVT","V","JLIMJN","FJWJMJDNBI","JQWOQAHU",,"F","1","J",,,,,,"AFNGJHJJQKFZIR",,"LJBQYC",,2018/12/04 12:11:13,"U","LBBTSNDFV",2018/12/03 09:30:44,,"1",,"WOK","HDU","ZBDGZEZ","JWP","X",,"JK","ZX","AEYM","1",,"1",,"IMN","S","HCFZNQ","KIHHWY","A","AUMN","B","FZVKGUAUYEXZOXWUBPMYECZBTCXVZXNCXI",,"KJ3",,,"IE","QZQNAHMCWBYKZ","14","1",
410
+
411
+ ・
412
+
413
+ （中略）
414
+
415
+ ・
416
+
417
+
418
+
419
+ ```