GASからBigQueryのデータ取得時、全件取得ができない

Question

実現したいこと

BigQueryにすでにテーブルやデータがある状態で、Google Apps Scriptを用いてそれを取得したいと思っています。

発生している問題・分からないこと

取得はできているのですが、件数が足りない、という問題が発生しています。
具体的には、
・BigQueryの件数：5917件
・GASで取得しログに出した件数：4794件
という感じです。
何度やってもこの件数になります。

エラーメッセージ

（エラーになってる訳ではないので割愛します）

該当のソースコード

function getBigQuery() {
  const projectId = "my_project_id";
  const query = "SELECT * FROM my_project_id.my_dateset_id.my_table_id";
  let queryRequest = BigQuery.newQueryRequest();
  queryRequest.query = query;
  const result = BigQuery.Jobs.query(queryRequest, projectId);
  const rows = result.rows;
  console.log(`全${rows.length}件`)
}

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

Googleで検索してみましたが、似たような現象は見つけられませんでした。
そもそも何が原因でこうなっているのか分からず、BigQuery側の設定の問題かもしれないとなると、
かなり特定が難しいと思ってしまいました。
もし分かる方いらっしゃれば、よろしくお願いします。

補足

不足している情報等あればご指摘お願いいたします。

Comments

[YellowGreen]

私自身は、普段BigQueryは使いませんので、見当違いかもしれません。

リファレンスでの全件取得のコードはもう少し手順が多いようですが、
https://developers.google.com/apps-script/advanced/bigquery?hl=ja
.queryメソッドでjobIdを取得してから
.getQueryResultsメソッドで
戻り値にpageTokenが返されている間、
whileループで戻り値のrowを蓄積しているように思えます。

[keskogt]

コメント本当にありがとうございます！
おかげさまで解決することができました！

Answer 1

コメントでいただいたリファレンスの記事と、それによって起こったエラーの解決の参考にさせていただいたQiitaの記事をハイブリッドさせて、全件取得ができました！

以下コードのうちコメントアウトで追加と記したところが、リファレンスのコードにはなくQiitaを参考にして追加したものです。

function runQuery() {
  const projectId = 'my_project_id';
  const request = {
    query: 'SELECT * FROM my_project_id.my_dataset_id.my_table_id',
    useLegacySql: false,
    location: 'asia-northeast1', //追加
  };
  let queryResults = BigQuery.Jobs.query(request, projectId);
  const jobId = queryResults.jobReference.jobId;

  let sleepTimeMs = 500;
  while (!queryResults.jobComplete) {
    Utilities.sleep(sleepTimeMs);
    sleepTimeMs *= 2;
    queryResults = BigQuery.Jobs.getQueryResults(projectId, jobId);
  }

  let rows = queryResults.rows;
  while (queryResults.pageToken) {
    queryResults = BigQuery.Jobs.getQueryResults(projectId, jobId, {
      pageToken: queryResults.pageToken,
      location: queryResults.jobReference.location //追加
    });
    rows = rows.concat(queryResults.rows);
  }
  console.log(rows.length);
}