質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.35%

  • SQL

    3225questions

    SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

  • Google API

    742questions

    Googleは多種多様なAPIを提供していて、その多くはウェブ開発者向けのAPIです。それらのAPIは消費者に人気なGoogleのサービス(Google Maps, Google Earth, AdSense, Adwords, Google Apps,YouTube等)に基づいています。

  • Google Cloud Platform

    263questions

    Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

  • Google App Engine

    158questions

    Google App Engineは、Googleの管理するデータセンター上でウェブアプリケーションの開発が可能なクラウドコンピュータ技術です。Java、Python、Go用にSDKが用意されています。

  • BigQuery

    114questions

    BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

クエリエディタでの実行時、Linuxインスタンスでの実行時とで結果が異なる

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 330

raccoondog

score 17

あるSQLをクエリエディタで実行したときと、Linuxインスタンス(GCP)のコンソール上で実行した時とで結果が異なる事象が発生
SQL文の構文を変更して実行したが、事象変わらずの状態となります。

■GCP RHELインスタンス

●1度目
[dwhtest01@embulk-bigquery-test autosql]$ bq query "insert into `fluid-emissary-216806.embulk_test.INPUT_TEST_003` [ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9] select * from `fluid-emissary-216806.embulk_test.INPUT_TEST_001` where  Num In (select Num from `fluid-emissary-216806.embulk_test.INPUT_TEST_002` A where not exists(select 1 from `fluid-emissary-216806.embulk_test.INPUT_TEST_003` B where A.NUM=B.NUM))"
-bash: fluid-emissary-216806.embulk_test.INPUT_TEST_003: command not found
-bash: fluid-emissary-216806.embulk_test.INPUT_TEST_001: command not found
-bash: fluid-emissary-216806.embulk_test.INPUT_TEST_002: command not found
-bash: fluid-emissary-216806.embulk_test.INPUT_TEST_003: command not found
Error in query string: Error processing job 'fluid-emissary-216806:bqjob_r1f224426d1a31cf2_0000016850ce483c_1': Encountered " "FROM" "from "" at line 1, column 64.
Was expecting:
<EOF>


●2度目
[dwhtest01@embulk-bigquery-test autosql]$ bq query "insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] [ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9] select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM))"
Error in query string: Error processing job 'fluid-emissary-216806:bqjob_r3608d36b1b037c75_0000016850ca97ee_1': Encountered "" at line 1, column 64.
[dwhtest01@embulk-bigquery-test autosql]$ 

※再度select

[dwhtest01@embulk-bigquery-test ~]$ bq query "insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM))"

Error in query string: Error processing job 'fluid-emissary-216806:bqjob_r7a78024a25a7e177_00000168540dd398_1': Encountered "" at line 1, column 65.


※2019/1/17 ファイル渡し実行結果➀

[dwhtest01@embulk-bigquery-test autosql]$ bq query --flagfile auto.sql
Error in query string: Error processing job 'fluid-emissary-216806:bqjob_r6474224b7c9c234c_000001685a1b79b5_1': Encountered " <STRING_LITERAL> "\"insert into
[fluid-emissary-216806.embulk_test.INPUT_TEST_003] (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where Num
In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where
A.NUM=B.NUM));\" "" at line 1, column 1.
Was expecting:
<EOF>

[dwhtest01@embulk-bigquery-test autosql]$ 
[dwhtest01@embulk-bigquery-test autosql]$ bq --flagfile auto.sql
FATAL Command '"insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM));"' unknown
Run 'bq help' to get help
[dwhtest01@embulk-bigquery-test autosql]$ 
[dwhtest01@embulk-bigquery-test autosql]$ 



[dwhtest01@embulk-bigquery-test autosql]$ cat auto.sql
"insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM));"
[dwhtest01@embulk-bigquery-test autosql]$ 


※SQL分を変更して実行➀

$ cat auto.sql
insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] 
select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] 
where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A 
where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM))

$ bq query --flagfile auto.sql
Error in query string: Error processing job 'fluid-emissary-216806:bqjob_r24810c52dc220156_000001685a7614c1_1': Encountered " <STRING_LITERAL> "\'insert into
[fluid-emissary-216806.embulk_test.INPUT_TEST_003] select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where Num In (select Num from
[fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM))\' "" at line 1, column 1.Was expecting:<EOF>


$ cat auto.sql
insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) 
select (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] 
where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A 
where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM))

$ bq query --flagfile auto.sql
Error in query string: Error processing job 'fluid-emissary-216806:bqjob_r773f6197eeba500_000001685a7d92a9_1': Encountered "" at line 1, column 65.

※SQL分を変更して実行➁

[dwhtest01@embulk-bigquery-test autosql]$ bq --flagfile auto.sql
FATAL Command 'insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) select (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM))' unknown
Run 'bq help' to get help

[dwhtest01@embulk-bigquery-test autosql]$ cat auto.sql
insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) select (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM))
[dwhtest01@embulk-bigquery-test autosql]$ 


[dwhtest01@embulk-bigquery-test autosql]$ bq --flagfile auto.sql
FATAL Command 'insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM))' unknown
Run 'bq help' to get help
[dwhtest01@embulk-bigquery-test autosql]$ cat auto.sql
insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM))

※bq shellで実行

fluid-emissary-216806> insert into `fluid-emissary-216806.embulk_test.INPUT_TEST_003` (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) select * from `fluid-emissary-216806.embulk_test.INPUT_TEST_001` where  Num In (select Num from `fluid-emissary-216806.embulk_test.INPUT_TEST_002` A where not exists(select 1 from `fluid-emissary-216806.embulk_test.INPUT_TEST_003` B where A.NUM=B.NUM));
Too many positional args, still have ['(ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9)', 'select', '*', 'from', '`fluid-emissary-216806.embulk_test.INPUT_TEST_001`', 'where', 'Num', 'In', '(select', 'Num', 'from', '`fluid-emissary-216806.embulk_test.INPUT_TEST_002`', 'A', 'where', 'not', 'exists(select', '1', 'from', '`fluid-emissary-216806.embulk_test.INPUT_TEST_003`', 'B', 'where', 'A.NUM=B.NUM));']
fluid-emissary-216806> 


※bq shell queryで実行

fluid-emissary-216806> query insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) select (ID,NUM,STR,VARSTR,DT,TIME0,TIME6,TIME9) from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM));
Error in query string: Error processing job 'fluid-emissary-216806:bqjob_r3a2890ff8b6aaafb_000001685e8a62ea_1': Encountered "" at line 1, column 65.

fluid-emissary-216806> query insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM));
Error in query string: Error processing job 'fluid-emissary-216806:bqjob_r4d52c9795e2725bd_000001685e8af20b_1': 1.1 - 1.314: Unrecognized token insert.

fluid-emissary-216806> query insert into [fluid-emissary-216806.embulk_test.INPUT_TEST_003] select * from [fluid-emissary-216806.embulk_test.INPUT_TEST_001] where  Num In (select Num from [fluid-emissary-216806.embulk_test.INPUT_TEST_002] A where not exists(select 1 from [fluid-emissary-216806.embulk_test.INPUT_TEST_003] B where A.NUM=B.NUM));
Error in query string: Error processing job 'fluid-emissary-216806:bqjob_r2a7db97a8bdbd422_000001685e8b15fd_1': 1.1 - 1.314: Unrecognized token insert.
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

1回目は()が[]に変わってます。
2回目は、さらに、``が[]に変わってますね。

もう少し落ち着いてエラーを見たほうが良いかと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/01/18 10:42 編集

    前に言ったように、query ではinsertはダメなんだろうとしか。
    sqlで行うならクエリーのスケジューリングという事になるんじゃないかと。

    キャンセル

  • 2019/01/18 11:16

    以前、クエリーのスケジューリングを検討したのですが、実行間隔の最短許容時間は 3 時間となっていまして、見送っています。

    実行間隔を1分や、せめて10分ぐらいの間隔で実行させたいです。

    キャンセル

  • 2019/01/18 13:11

    そこまで詳しくはないですから、その点についてのアドバイスはありません。
    先ずは、可能な機能を用いて実現した上で、それらを課題として取り組むように方針転換された方が良いと思います。
    出来ないで留まるより、課題はあるが実現できている状態に持って行った方が精神的にもね。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.35%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る

  • SQL

    3225questions

    SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

  • Google API

    742questions

    Googleは多種多様なAPIを提供していて、その多くはウェブ開発者向けのAPIです。それらのAPIは消費者に人気なGoogleのサービス(Google Maps, Google Earth, AdSense, Adwords, Google Apps,YouTube等)に基づいています。

  • Google Cloud Platform

    263questions

    Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

  • Google App Engine

    158questions

    Google App Engineは、Googleの管理するデータセンター上でウェブアプリケーションの開発が可能なクラウドコンピュータ技術です。Java、Python、Go用にSDKが用意されています。

  • BigQuery

    114questions

    BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。