treasuredataのworkflowで「複数のテーブルを結合に利用するとタイミングによってテーブルが空になる」問題を解決したい

Question

前提・実現したいこと

treasuredataでworkflowを作成しています。

同じSQLなのにworkflowで実行すると「No result records to preview」になる原因が知りたいです。
（手動で実行すると期待する結果が出力される）

treasuredataに問い合わせたところ、
「複数のテーブルを結合に利用しているため、タイミングによって何処かのテーブルが空であったりJOINできない状態のデータとなる可能性がある。それにより今回のSQLも影響を受けて0件になることが考えられる」とのこと。

→この"タイミングによって"という部分、workflowの利用によって空になる原因はどこにあるのでしょうか？（digdag特有の挙動？）

発生している問題・エラーメッセージ

手動では問題なく出力されるSQLが、workflowの利用によって、結果がたまに0件となることが発生します。

下記のようにwithとinner joinを使用しています。
（SQLだけの問題なのか、workflowによる影響なのかがわかりません。）

該当のソースコード

with A as (
 　〜〜〜〜〜〜
 from B
 inner join C
 ON 〜〜〜〜〜〜
 inner join D
 ON 〜〜〜〜〜〜
 inner join(
  〜〜〜〜〜〜
 ) ON 〜〜〜〜〜〜
〜〜〜〜〜〜

試したこと

workflowではスプレットシートに結果を出力するようにしていますが、
スプレットシートへの出力以前の問題なので、今回は恐らく影響はないかと思います。

補足情報（FW/ツールのバージョンなど）

Answer 1

treasuredataに問い合わせたところ、
「複数のテーブルを結合に利用しているため、タイミングによって何処かのテーブルが空であったりJOINできない状態のデータとなる可能性がある。それにより今回のSQLも影響を受けて0件になることが考えられる」とのこと。

問い合わせ時には、対処方法は示されなかったのですか？

回答が結合云々のタイミングという話であるなら、withやサブクエリーは使用せず、from句では単純な結合のみとしてみてはどうでしょうか。

追記

TreasureData Workflow (digdag)を使ってみた（超入門）[メモ]
TreasureData Workflowは、使ったことは無いのですが、上記を参考にすると、
Aの結果でテーブルを作成し、BのSQLはtest_aを参照するという事になるかと。
AもBもSQLなら、SQLを纏めれば良いのだと思います。

+task1:
  td>: queries/A.sql
  create_table: test_A
+task2:
  td>: queries/B.sql
  create_table: test_B

Comments

[theaaa]

ありがとうございます！

対処法として提示された内容では、
「事前のデータ加工などの処理がある場合、workflowではそれが終わったあとに集計処理をするというような依存関係の設定もできる。データの加工と集計を一緒のタスクに組み込んで実行させるのも良いかも。」とのことでした。

workflow上というよりは、sqlに問題があるということですよね。
withやサブクエリを使わない書き方で試してみます。

[sazi]

その回答内容なら、ワークフローが複数のタスクで構成されていて、A→Bであるとき、Aが完了していない状態で、Bが実行されるという事だと思います。
この場合は、回答にあるように、AとBの依存関係を設定するか、AとBを一つのタスクにするという対処だと思います。

[theaaa]

なるほど！

現状、タスクAとタスクBの間に関係はなく、異なる内容になっています。
その上でAとBを1つのタスクにするのでしょうか？

イメージでは、「AとBを完全に切り離したいから、Aが完全に完了してからBを実行してね」という設定をするだと考えていたのですが...。（これが「AとBの依存関係を設定する」なのでしょうか？）

[theaaa]

workflowとしては下記のように設定していますが、
「Aを実行し、それが完了した時にBを実行する」で合っていますよね？
ここの処理の流れを1つにするということでしょうか？

```
+task1:
td>: queries/A

+task2:
td>: queries/B
```

[sazi]

Aが完了してからBという設定が依存関係に関する設定です。
Aの処理の次にBの処理を行うというプログラムにするのが、一つのタスクにするという事です。

[theaaa]

ありがとうございます。

理解が深まりました。
他のワークフローも関係してきそうですね。