【SQL】前回の出力から差分のみCSV出力したい

SQLのデータをSQLファイルとバッチファイルでCSV出力しています。
セレクトしたフラグの全データを出力することはできたのですが
前回の出力から差分のみを出力したいです。

ご教示のほど宜しくお願い致します。

【SQLファイル】
set nocount on

select
担当者コード,担当者名,役職コード,基本給1,交通費,交通費定期
from
社員_MT
order by
担当者コード

set nocount off

【バッチファイル】
@ECHO OFF
CD %~dp0
SQLCMD -S DESKTOP-NOMM63I\SQL2014EXPRESS -E -d MSDE -i syain.sql -s, -W -h -1 -o syain.csv

hihijiji

2019/12/12 08:10

> 前回の出力から差分前回の出力はどのように保存してますか？それが解らないことには差分の取りようがないです。

JipvOvxMCyFrRX2

2019/12/12 08:48

ご返信ありがとうございます。前回の出力もCSVです。回答がずれていたら申し訳ございません。

行動規範の内容に同意します

回答3件

自己解決

今回、この質問をさせていただいたのが、
データを最終的にグーグルスプレッドシートにあげたい為でした。

SQLからグーグルスプレッドシートまでのデータ移行のどこかで
差分移行をしなければ、データ量が多い場合に重くなってしまうので
SQLからデータを出力する際に差分で取り出せないかなと考えました。

ですが、CSVからグーグルスプレッドシートにデータをあげる際に
差分で取り込む方法を先に発見したので、今回はこちらの方法で差分と取り込みをいたしました。

ご回答してくださった方には大変申し訳なく存じます。。

グーグルスプレッドシートでCSVデータの前回の取り込み分からの差分データを取り込むスクリプトを記載させていただきます。

var ss = SpreadsheetApp.getActiveSpreadsheet();
var ssName = ss.getName();
var ssId = DriveApp.getFilesByName(ssName).next().getId();
var ssOpen = SpreadsheetApp.openById(ssId);

//データ取得/////////////////////////////////////////////////////////
function data_import() {
  
  var data_sh = ssOpen.getSheetByName('data');
  
  // 対象のCSVファイルが置かれているフォルダ名、ファイル名
  var folderName = "グーグル同期";
  var fileName = "data.csv";
  var folders = DriveApp.getFoldersByName(folderName);
  
  //フォルダとファイルの検索
  while (folders.hasNext()) {
    var folder = folders.next();
    if (folder.getName() == folderName) {
      var files = DriveApp.getFilesByName(fileName);
      while (files.hasNext()) {
        var file = files.next();
        if (file.getName() == fileName) {
          
          //設定しないでShift_JISのままだと文字化けする
          var data = file.getBlob().getDataAsString("Shift_JIS"); 
          
          var csv = Utilities.parseCsv(data);
        }
        
        //もしデータが空だったら
        if (!data_sh.getRange(2,1).getValue()){
          //セルA1からCSVの内容を書き込んでいく
          data_sh.getRange(2,1,csv.length,csv[0].length).setValues(csv);
          return;
        }
        //もしデータがあったら
        else{
          //新データがない場合エラーになるので回避
          try{
            //差分書き込み
            const r = data_sh.getLastRow();
            const tail = csv.slice(r-1);
            data_sh.getRange(r+1,1,tail.length,6).setValues(tail);
            return;
          }
          catch(e){
          }
        }
      }
    }
  }    
}

投稿2020/02/14 05:55

JipvOvxMCyFrRX2

総合スコア18

もともとAというデータがあったとき
Bというデータを追加して前回からの差分Bを抜き出すとします
次にCを追加して前回からの差分をとるとき前回はA+BからBを取り出しているので
今回はA+B+CからBをのぞいたA+Cが差分になります。
同様にDを追加すると、A+B+C+DからA+Cを覗いたB+Dが次の差分
つまり「前回の差分」を基準にするとむちゃくちゃです

投稿2019/12/16 04:03