batファイルで出力したデータを整列する機能

Question

実現したいこと

Oracleデータベースの宛名テーブルデータをCSVに出力させる機能です。
Trim_ATENA.csvに一度出力させてから、powershellで空白詰めとダブルクォーテーション囲みをして編集したデータをTcat_ATENA.csvに出力をして、Trim_ATENA.csvを削除するプログラムです。

発生している問題・分からないこと

出力する宛名が「山田,太郎」というようにカンマが含まれていると、現状のpowershellだとCSVには「"山田",”太郎”」と出力されてしまいます。CSVファイルに「"山田,太郎"」と出力させるには、どの部分を改良すればいいのかを教えていただきたいです。

該当のソースコード

@echo off
chcp 65001 > nul
set NLS_LANG=.AL32UTF8
setlocal

:: Oracle接続情報
set HOST=**
set PORT=****
set SERVICE=**

set USER=***
set PASS=***


rem batファイルのあるディレクトリを取得

set "BASEDIR=%~dp0"


rem CSVファイルの出力先を設定

set "CSVDIR=**"


rem logファイルの出力先を設定

set "LOGDIR=**"


rem 日付付きログファイルを作成
for /f "tokens=1-3 delims=/- " %%a in ("%date%") do (
    set "YYYY=%%a"
    set "MM=%%b"
    set "DD=%%c"
)

set "LOGDATE=%YYYY%%MM%%DD%"
set "LOGFILE=%LOGDIR%\export_%LOGDATE%.log"


rem sqlファイル
set "EXPORT_SQL=%BASEDIR%sql\atena.sql"

rem CSVファイルの名前を宣言
set "inputatena=%CSVDIR%\trim_ATENA.csv"
set "outputatena=%CSVDIR%\TCat_ATENA.csv"


echo [%DATE% %TIME%] CSVファイルの出力処理開始 >> "%LOGFILE%"


sqlplus -S %USER%/%PASS%@%HOST% @%EXPORT_SQL% "%CSVDIR%" >> "%LOGFILE%" 2>&1


rem 連携用CSVの出力  0件の場合でもCSVが出力される
powershell -NoProfile -Command ^
  "Get-Content '%inputatena%' -Encoding UTF8 | ForEach-Object { $fields = $_ -split ','; $processedFields = $fields | ForEach-Object { '\"' + $_.Trim() + '\"' }; $processedFields -join ',' } | Out-File -FilePath '%outputatena%' -Encoding UTF8" >> "%LOGFILE%" 2>&1


rem 連携用CSVの出力件数をログファイルに記述
powershell -NoProfile -Command ^
  "$count = (Get-Content '%CSVDIR%\TCat_ATENA.csv' -Encoding UTF8).Count; 'TCAT_ATENA.csv出力件数: ' + $count | Out-File -FilePath '%LOGFILE%' -Encoding UTF8 -Append"


echo 連携用CSVの出力を完了しました

echo [%DATE% %TIME%] 連携用CSVの出力を完了しました >> "%LOGFILE%"

rem 整列用CSVの削除
del "%inputatena%"


pause
endlocal
exit /b

DEFINE CSVDIR = '&1'

SET ECHO OFF
SET FEEDBACK OFF
SET HEADING OFF
SET LINESIZE 13000
SET PAGESIZE 0
SET TRIMSPOOL ON
SET TERMOUT OFF
SET WRAP OFF
SET COLSEP ','


SPOOL &CSVDIR/trim_ATENA.csv
SELECT * FROM tcat_atena_DUMMY WHERE YUKOFLAG = 1;
SPOOL OFF

EXIT;

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

powershellの内容を何度か変更してみましたが、どうもうまくいきません。
皆さんの知恵をお借りしたいです。

補足

全てのデータ項目をダブルクォーテーションで囲んでカンマで区切るようになっています。
データがnullだった場合は""が出力されています。

Comments

[YAmaGNZ]

https://teratail.com/questions/92535
こちらが参考になりませんか？

[attercop]

COLSEPにカンマではなく、検索結果に含まれない文字を指定してはどうでしょうか。

Answer 1

もうクローズされてしまいましたが、こちらの解法だとだいぶ簡単に解決できるはずなので紹介させていただきます。
質問での組み合わせだと SQL*Plus で最初の trim_ATENA.csv を出力すると以下のようになりますが、
(テーブルの構成は前回の回答と同様当方で適当に考えているため実際のものとは異なりますのでご了承ください)

         1,山田,太郎                                                                       ,         1
         2,                                                                                ,         1

バッチファイルの52行目で行っている SQL*Plus の呼び出しの際に -M "CSV ON" というオプションを加えて

sqlplus -S -M "CSV ON" %USER%/%PASS%@%HOST% @%EXPORT_SQL% "%CSVDIR%" >> "%LOGFILE%" 2>&1

とすれば trim_ATENA.csv は下記のような形式となり、

1,"山田,太郎",1
2,,1

バッチファイルの55～57行目で行っている連携用CSVへの整形も不要になると思います。
（ちなみにこのオプション指定はLinuxや各種UNIXだと シングルクォートの -M 'CSV ON'で問題なかったのですが、なんでWindowsだとダメなんだろう）

Answer 2

とりあえず、コメントで頂いた検索結果に含まれない文字指定をしてみます。
kenjiro_n様のコードは、また時間のあるときに試させていただこうと思います。
回答をくださりありがとうございました。

Answer 3

PowerShellからOracle DBが使えるかどうかは環境によるのであくまで参考ですが、
PowerShell 5.1が使えるのならいっそのことバッチファイルとSQLで分担している操作を内部で一気にやってしまうという手もあります。

質問で出力しているCSVファイルにはヘッダがないので Export-CSV が使えない
（正確には -NoHeader というオプションがあるのですが、これを使うためには別途 ヴァージョン 7 をインストールする必要があるので今回は除外しています ）
ので下記ソースではコメントにあるとおり while($Reader.Read()) 内でCSVの行を組み立てた上で "", を , に置き換える処理を行い、これをテキストファイルとして出力しています。

using namespace System.Data.OracleClient
Add-Type -AssemblyName System.Data.OracleClient

$DBUSER = "***"
$DBPASS = "***"
$DBHOST = "***"

$BASEDIR = Split-Path $MyInvocation.MyCommand.path -Parent

$CSVDIR="***"

$LOGDIR="***"

$dtNow   = [datetime]::Now
$LOGDATE = $dtNow.ToString("yyyyMMdd")
$LOGFILE = Join-Path $LOGDIR ("export_{0}.log" -f $LOGDATE)

# DBへの接続を行う
$Conn = [OracleConnection]::new("Data Source=${DBHOST};User ID=${DBUSER};Password=${DBPASS};Integrated Security=false;")
$Conn.Open()

$inputatena = Join-Path $CSVDir "trim_ATENA.csv"
$outputatena = Join-Path $CSVDir "TCat_ATENA.csv"

$strSql = @"
SELECT * FROM tcat_atena_DUMMY WHERE YUKOFLAG = 1
"@

$Cmd = [OracleCommand]::new() | %{
  $_.Connection = $Conn
  $_.CommandText = $strSql
  $_
}

$Reader = $Cmd.ExecuteReader()
$results = @()
while($Reader.Read())
{
  # ！！！カラム名とデータ型は実際のものに合わせてください
  $line = "{0},`"{1}`",{2}" -f $Reader["ID"], $Reader["NAMAE"], $Reader["YUKOFLAG"]
  $line = $line.Replace("`"`",", ",")
  $results += @($line)
}
("[{0} {1}] CSVファイルの出力処理開始" -f $dtNow.ToString("yyyy/MM/dd"), $dtNow.ToString("HH:mm:ss")) | Out-File -FilePath $LOGFILE -Encoding UTF8 -Append
$results | Out-File -Encoding UTF8 -FilePath $inputatena

# 連携用CSVにする必要もないのでファイルコピーで済ませる
Copy-Item  $inputatena -Destination $outputatena

# 連携用CSVの出力件数をログファイルに記述
$count = $results.Count # (Get-Content $inputatena -Encoding UTF8).Count
('TCAT_ATENA.csv出力件数: {0}' -f $count) | Out-File -FilePath $LOGFILE -Encoding UTF8 -Append


"連携用CSVの出力を完了しました" | Write-Host

$dtNow = [datetime]::Now
("[{0} {1}] 連携用CSVの出力を完了しました" -f $dtNow.ToString("yyyy/MM/dd"), $dtNow.ToString("HH:mm:ss")) | Out-File -FilePath $LOGFILE -Encoding UTF8 -Append

# 後処理
$Reader.Dispose()
$Cmd.Dispose()
$Conn.Dispose()

# 整列用CSVの削除
Remove-Item -Path $inputatena

バッチファイルは単に PowerShellの起動を行うだけにします。
PowerShellのスクリプトを起動するために同一のファイル名にしておけば内容はコピペでいける上、本当はだめなんでしょうけどPowerShellスクリプトの署名を端折れるので自分はこのバッチファイルを常用しています。

@echo off
REM PowerShellプログラムを起動するバッチ。
powershell -executionpolicy RemoteSigned -File "%~dp0%~n0.ps1"