VBScriptでcsvファイルもしくはテキストファイル内の重複を削除してテキストファイルに書き出したい

Question

csvファイルを読み込んでテキストファイルに書き出すところまではできたのですが、
csvファイル内の重複を削除する方法がわかりません。

AAA.csv

0001,田中,東京
0002,森田,神奈川
0005,田山,東京
0011,清水,山形
0009,小野,東京

　
BBB.csv

0004,長谷川,長野
0002,森田,神奈川
0008,白川,新潟
0018,水野,富山
0029,寺田,東京

　
例えば上記の２つのcsvファイル(２行目の森田が重複)を結合して
最終的に下記のように森田の重複を削除した状態のテキストファイルを作りたいです。
result.txt

0001,田中,東京
0002,森田,神奈川
0005,田山,東京
0011,清水,山形
0009,小野,東京
0004,長谷川,長野
0008,白川,新潟
0018,水野,富山
0029,寺田,東京

csvを読み込む時点での重複削除でも
一度テキストファイルに全行書き出した上で重複を削除する方法でも
どちらでもいいので、どういったアルゴリズムを組めばいいか教えていただけますでしょうか？

追記

Dim fso
Set fso = WScript.CreateObject("Scripting.FileSystemObject")

GetFiles "./CSV", CSV_PATH '※フォルダ以下のCSVファイルパスを取得
For i = 0 To UBound(CSV_PATH)
  IF fso.GetExtensionName(CSV_PATH(i))="csv" Then
    ReadFile CSV_PATH(i), LineArrTemp '※ファイルのデータを配列に格納
    If i = 0 then
      LineArrM = LineArrTemp '※1ファイル目
    Else
      ListMerge LineArrTemp, LineArrM '※2ファイル目以降は重複をチェックしてマージ
    End If
  End If
Next

Answer 1

UTF-8のファイル読み書きを想定しました。
よろしければお試しください。

'===================
' CSVを配列に格納
'===================
Dim LineArrA()
ReadFile "AAA.csv", LineArrA
Dim LineArrB()
ReadFile "BBB.csv", LineArrB

'===================
' 重複を削除＋マージ
'===================
Dim LineArrM
LineArrM = LineArrA

'※配列Bの中から配列Aにない要素だけ配列Mに追加する
For i = 0 To UBound(LineArrB)
  For j = 0 To UBound(LineArrA)
    if LineArrB(i) <> LineArrA(j) then
      '※配列Aにないものは配列Mに追加
      if UBound(LineArrA) = j then
        redim Preserve LineArrM(UBound(LineArrM) + 1) '配列を+1拡張
        LineArrM(UBound(LineArrM)) = LineArrB(i)
      End If
    Else
      '※配列Aにあるものは配列Mに追加しない
      Exit For
    End If
  Next
Next

'===================
' ファイル書き込み
'===================
Dim output
Set output = CreateObject("ADODB.Stream")
output.Type = 2
output.Charset = "UTF-8"
output.Open

for i = 0 To UBound(LineArrM)
  output.WriteText LineArrM(i), 1 '[0:改行なし 1:改行コード付加]
Next
output.SaveToFile "outputText.txt", 2
output.Close


'========================
' CSV読み込みプロシージャ
'========================
Sub ReadFile(ByVal filePath, ByRef dataList)
  Dim input
  Set input = CreateObject("ADODB.Stream")
  input.Open
  input.Type = 2
  input.Charset = "UTF-8"
  input.LineSeparator = 10
  input.LoadFromFile filePath

  ' 対象ファイルから1行ずつ読み込む
  Dim line
  Dim aryStrings
  Dim i
  i = 0
  Do Until input.EOS
    line = input.ReadText(-2)
    redim Preserve dataList(i)
    'dataList(i) = line
    dataList(i) = Replace(line, vbCr, "") '改行コード削除（書込時に改行コード付加）
    'msgbox dataList(0)
    i = i + 1
  Loop

  input.Close
End Sub

追記

実行ファイルと同じ階層の「CSV」フォルダ以下のファイルを対象に重複削除・ファイル出力の処理を作ってみました。「CSV」フォルダ以下にCSVファイルを配置して試してみてください。CSVファイルはUTF-8にしてください。

Option Explicit

'===========
' メイン処理
'===========
Dim LineArrM
Dim LineArrTemp()
Dim CSV_PATH()
Dim i

GetFiles "./CSV", CSV_PATH '※フォルダ以下のCSVファイルパスを取得

For i = 0 To UBound(CSV_PATH)
  ReadFile CSV_PATH(i), LineArrTemp '※ファイルのデータを配列に格納
  If i = 0 then
    LineArrM = LineArrTemp '※1ファイル目
  Else
    ListMerge LineArrTemp, LineArrM '※2ファイル目以降は重複をチェックしてマージ
  End If
Next

WriteFile "outputText.csv", LineArrM 'ファイル出力
'<メイン処理はここまで>


'<以下はSubプロシージャ>
'===================
' ファイル書き込み
'===================
Sub WriteFile(ByVal outputPath, ByVal arr)
  Dim output, i
  Set output = CreateObject("ADODB.Stream")
  output.Type = 2
  output.Charset = "UTF-8"
  output.Open

  for i = 0 To UBound(arr)
    output.WriteText arr(i), 1 '[0:改行なし 1:改行コード付加]
  Next
  output.SaveToFile outputPath, 2
  output.Close
End Sub

'===================
' 重複を削除＋マージ
'===================
Sub ListMerge(ByVal arrTemp, ByRef arrM)
  Dim i,j
  '※配列Tempで配列Mにない要素だけ配列Mに追加する
  For i = 0 To UBound(arrTemp)
    For j = 0 To UBound(arrM)
      if arrTemp(i) <> arrM(j) then
        '※配列Mにないものは追加
        if UBound(arrM) = j then
          redim Preserve arrM(UBound(arrM) + 1) '配列を+1拡張
          arrM(UBound(arrM)) = arrTemp(i)
        End If
      Else
        '※配列Mにあるものは追加しない
        Exit For
      End If
    Next
  Next
End Sub

'========================
' リスト取得プロシージャ
'========================
Sub GetFiles(ByVal folderPath, ByRef fileList)
  Dim objFileSys
  Dim objFolder
  Dim objFile
  Dim i
  i = 0
 
  Set objFileSys = CreateObject("Scripting.FileSystemObject")
  Set objFolder = objFileSys.GetFolder(folderPath)

  For Each objFile In objFolder.Files
      '取得したファイルのファイル名を表示
      redim Preserve fileList(i)
      fileList(i) = folderPath & "/" & objFile.Name
      i = i + 1
  Next
 
  Set objFolder = Nothing
  Set objFileSys = Nothing 
End Sub

'========================
' CSV読み込みプロシージャ
'========================
Sub ReadFile(ByVal filePath, ByRef dataList)
  Dim input
  Set input = CreateObject("ADODB.Stream")
  input.Open
  input.Type = 2
  input.Charset = "UTF-8"
  input.LineSeparator = 10
  input.LoadFromFile filePath

  '対象ファイルから1行ずつ読み込む
  Dim line
  Dim aryStrings
  Dim i
  i = 0
  Do Until input.EOS
    line = input.ReadText(-2)
    redim Preserve dataList(i)
    dataList(i) = Replace(line, vbCr, "") '改行コード削除（書込時に改行コード付加）
    i = i + 1
  Loop

  input.Close
End Sub

追記2

ANSI形式のCSVファイルを読み込めるように、ReadFileプロシージャを変更しました。
出力ファイルの形式もANSI形式になるように変更しました。

変更箇所
①WriteFileANSIプロシージャ追加
②ReadFileプロシージャ変更

Option Explicit

'===========
' メイン処理
'===========
Dim LineArrM
Dim LineArrTemp()
Dim CSV_PATH()
Dim i

GetFiles "./CSV", CSV_PATH '※フォルダ以下のCSVファイルパスを取得
For i = 0 To UBound(CSV_PATH)
  ReadFile CSV_PATH(i), LineArrTemp '※ファイルのデータを配列に格納
  If i = 0 then
    LineArrM = LineArrTemp '※1ファイル目
  Else
    ListMerge LineArrTemp, LineArrM '※2ファイル目以降は重複をチェックしてマージ
  End If
Next

WriteFileANSI "outputText.csv", LineArrM 'ファイル出力(ANSI)
'WriteFile "outputText.csv", LineArrM 'ファイル出力(UTF-8)

'<メイン処理はここまで>


'<以下はSubプロシージャ>
'========================
' ファイル書き込み(UTF-8)
'========================
Sub WriteFile(ByVal outputPath, ByVal arr)
  Dim output, i
  Set output = CreateObject("ADODB.Stream")
  output.Type = 2
  output.Charset = "UTF-8"
  output.Open

  for i = 0 To UBound(arr)
    output.WriteText arr(i), 1 '[0:改行なし 1:改行コード付加]
  Next
  output.SaveToFile outputPath, 2
  output.Close
End Sub

'========================
' ファイル書き込み(ANSI)
'========================
Sub WriteFileANSI(ByVal outputPath, ByVal arr)
  Dim outputFile, fso
  Set fso = WScript.CreateObject("Scripting.FileSystemObject")
  Set outputFile = fso.OpenTextFile(outputPath, 2, True)
  for i = 0 To UBound(arr)
    outputFile.WriteLine arr(i)
  Next

  outputFile.Close
End Sub

'===================
' 重複を削除＋マージ
'===================
Sub ListMerge(ByVal arrTemp, ByRef arrM)
  Dim i,j
  '※配列Tempで配列Mにない要素だけ配列Mに追加する
  For i = 0 To UBound(arrTemp)
    For j = 0 To UBound(arrM)
      if arrTemp(i) <> arrM(j) then
        '※配列Mにないものは追加
        if UBound(arrM) = j then
          redim Preserve arrM(UBound(arrM) + 1) '配列を+1拡張
          arrM(UBound(arrM)) = arrTemp(i)
        End If
      Else
        '※配列Mにあるものは追加しない
        Exit For
      End If
    Next
  Next
End Sub

'========================
' リスト取得プロシージャ
'========================
Sub GetFiles(ByVal folderPath, ByRef fileList)
  Dim objFileSys
  Dim objFolder
  Dim objFile
  Dim i
  i = 0

  Set objFileSys = CreateObject("Scripting.FileSystemObject")
  Set objFolder = objFileSys.GetFolder(folderPath)

  For Each objFile In objFolder.Files
      '取得したファイルのファイル名を表示
      redim Preserve fileList(i)
      fileList(i) = folderPath & "/" & objFile.Name
      i = i + 1
  Next

  Set objFolder = Nothing
  Set objFileSys = Nothing 
End Sub

'==================================
' CSV読み込みプロシージャ(ANSI専用)
'==================================
Sub ReadFile(ByVal filePath, ByRef dataList)
  Dim fso,i
  Dim inputFile
  Set fso = WScript.CreateObject("Scripting.FileSystemObject")
  Set inputFile = fso.OpenTextFile(filePath, 1, False, 0)
  i=0
  Do Until inputFile.AtEndOfStream
    redim Preserve dataList(i)
    dataList(i) = inputFile.ReadLine
    i = i + 1
  Loop

  inputFile.Close
End Sub

追記3

CSVファイルのみを対象にする

'========================
' リスト取得プロシージャ
'========================
Sub GetFiles(ByVal folderPath, ByRef fileList)
  Dim objFileSys
  Dim objFolder
  Dim objFile
  Dim i
  i = 0

  Set objFileSys = CreateObject("Scripting.FileSystemObject")
  Set objFolder = objFileSys.GetFolder(folderPath)

  For Each objFile In objFolder.Files
    IF objFileSys.GetExtensionName(objFile.Name)="csv" Then
      '取得したファイルのファイル名を表示
      redim Preserve fileList(i)
      fileList(i) = folderPath & "/" & objFile.Name
      i = i + 1
    End If
  Next

  Set objFolder = Nothing
  Set objFileSys = Nothing 
End Sub

Comments

[clonoth]

ご回答ありがとうございます。コードも書いていただき大変ありがとうございます。
csvファイルは2ファイル固定ではなく、0以上で増減します。
「"あるフォルダ内のcsvファイルすべて"を対象とする」という処理にするとどうなりますでしょうか？

[KazuSaka]

回答に追記しました。
複数ファイルを想定した処理を書いてみました。

[clonoth]

追記いただきありがとうございます。
リスト取得プロシージャの
Set objFolder = objFileSys.GetFolder(folderPath)
のところで「パスが見つかりません」のエラーｎなってしまいます。

vbsファイルと同じフォルダに「CSV」を作り
「CSV」フォルダ内にcsvファイルを格納するフォルダ構成で正しいでしょうか？

[KazuSaka]

vbsファイルと同じフォルダに「CSV」を作り
「CSV」フォルダ内にcsvファイルを格納するフォルダ構成で正しいでしょうか？
➡その認識で問題ないです。

Set objFolder = objFileSys.GetFolder(folderPath)
のところで「パスが見つかりません」のエラーｎなってしまいます。
➡エラー行の前に「msgbox folderPath」を書いて実行して、folderPathの値を見てみてください。「./CSV」が表示されますよね？
➡あとは、「GetFiles "./CSV", CSV_PATH」の行の相対パス(./CSV)を絶対パスにして実行するとどうなりますか？
例：Cドライブ直下の場合：「GetFiles "C:\CSV", CSV_PATH」
※パスに日本語が入らないようにしてください

[clonoth]

相対パスだと「./CSV」が表示されました。
絶対パスにしたところ、フォルダパスに日本語が入っているため文字化けしてしまいました。(vbsファイルの文字コードをANSIに変更したところ文字化けせずに表示されました)

追記にて「CSVファイルはUTF-8にしてください」と記入いただいていますが、vbsファイルもcsvファイルもANSIで作成したいのですが可能でしょうか？

[KazuSaka]

VBSファイル(ANSI)、CSVファイル(UTF-8)の組み合わせではプログラムは正常動作しますか？
（もともとのCSVファイルがANSIだから、ANSIで読み込みたいってことですよね？）

CSVファイル読み込みの部分をANSI用に書き換えれば、ANSI形式を読み込めると思います。
ちょっと作ってみます。

[KazuSaka]

ANSI読み込み用に修正しました。
試してみてください。

[clonoth]

VBSファイル(ANSI)、CSVファイル(UTF-8)の組み合わせではプログラムは正常動作しますか？
→エラーにはなりませんでしたが、文字化けされた状態出力されました。
　ANSIのcsvでしたら、文字化けせずにかつ、重複が削除されて出力されてるっぽいです。
本当にありがとうございます！

[KazuSaka]

うまくいったようで、良かったです。
お疲れ様でした。

[clonoth]

何度もすみません。
CSVフォルダ内にはcsvファイル以外も存在し
名前に".csv"を含むファイルのみを読み込みたいです。

追記にて、
メイン処理のFor文直下にIF文を追記し
GetExtensionNameで拡張子を取得し、"csv"だったら
その下の処理に行く。という処理を記載させていただきましたが
こちらで問題なさそうでしょうか？

※一応、当方の確認では問題なさそうでしたが
　ほかにもっと良い方法があれば教えていただきたいです。

[KazuSaka]

まったく問題ないと思います。
ただリスト取得のところで、フォルダ以下のファイルをすべて取得して配列に入れているので、この段階でcsvファイル以外は除外したほうがシンプルかと思います。（追記３参照）