VBAでCSVファイル内の重複を削除したい

Question

調べてもなかなかできないので、
お力添えをお願い致します。

ExcelVBAでCSVファイルの重複を削除したいです。
通常であれば簡単なのですが、
行数が100万行くらいあるのでExcelでCSVを開く事ができません。
CSVに直接処理をかけたいです。

実現したいデータの中身は下記のような内容です。

（処理前）
徳川家康,2021/03/03,
明智光秀,2021/03/03,
徳川家康,2021/03/03,
織田信長,2021/03/03,
明智光秀,2021/03/03,
服部半蔵,2021/03/03,
徳川家康,2021/03/04,

↓

（処理後）
徳川家康,2021/03/03,
明智光秀,2021/03/03,
織田信長,2021/03/03,
服部半蔵,2021/03/03,
徳川家康,2021/03/04,

同じ内容の行を削除したいです。

＜試した事＞

１、object.RemoveDuplicates ( columns [, header ] )
こちらのメソッドを使うのが早くて良さそうでしたが、
Rangeを指定できない為使用方法が分かりませんでした。

２、コマンドプロンプトではできませんでした。
ExcelVBAからpowershellを使った方法も考えましたが、
起動するところまではできましたが、
コマンドが分からずCSVに出力するまでできませんでした。

３、配列に格納してやろうとしましたが、
1次元配列の情報はネットから拾えましたが、
2次元配列のわかりやすい情報が収集できずスキル不足で実現できませんでした。

よろしくお願いします。

Answer 1

VBAで重複削除と言われると、ついDictionaryを連想します。

Sub sample()
    
    Dim fn
    With Application.FileDialog(msoFileDialogFilePicker)
        .Show
        fn = .SelectedItems(1)
    End With
    
    Dim dic As Scripting.Dictionary
    Set dic = New Scripting.Dictionary
    
    With New ADODB.Stream
        .Type = adTypeText
        .Charset = "UTF-8"
        .LineSeparator = adCRLF

        .Open
        .LoadFromFile fn

        Do While Not .EOS
            Dim buf
            buf = .ReadText(adReadLine)
            dic(buf) = 0
        Loop
        .Close
        
        .Open
        Dim k
        For Each k In dic
            .WriteText k, adWriteLine
        Next
        .SaveToFile fn, adSaveCreateOverWrite
        .Close
    End With
End Sub

Comments

[name1224]

ご回答頂きましてありがとうございます。
Dictionaryもネット検索で調べたのですが、
私のスキル不足で使いこなせませんでした。
こちらのコードを使用させて頂きましたところ、
私のやりたかった事が実現されました。
後で復習して中身を理解しようと思います。
回答して頂き大変感謝申し上げます。
お二方ともベストアンサーにしたいのですが、
実現度が高かった為こちらをベストアンサーとさせて頂きます。

Answer 2

SQLを使う方法です。
ただし、100万行で実行可能かどうかは未知数です。

Sub ReadCsv()
    Const PATH = "z:\"       '対象ファイルのフォルダに変更してください
    Const FILE = "[aaa.csv]" '対象ファイル名に変更してください
    
    Dim objCon As Object
    Set objCon = CreateObject("ADODB.Connection")
    objCon.Provider = "Microsoft.ACE.OLEDB.12.0"
    objCon.Properties("Extended Properties") = "Text;HDR=NO"
    Call objCon.Open(PATH)
    
    'SQL文作成
    Dim strSQL As String
    strSQL = "SELECT DISTINCT * FROM " & FILE
    
    'SQLの実行結果のレコードセットを取得
    Dim objRecordset As Object
    Set objRecordset = CreateObject("ADODB.Recordset")
    Call objRecordset.Open(strSQL, objCon)
    
    '結果を表示
    Call Worksheets(1).Cells(1, 1).CopyFromRecordset(objRecordset)
End Sub

　
追記
こんなことも出来るよという参考程度に

注意
実行後にschema.iniというファイルが作成されてしまうので不要であれば消す必要があります。
また、実行前に出力ファイルがすでに存在すればエラーになります。
データタイプが文字列と判定されたカラムの値は、コーテーションで囲われてしまいます。

Sub ReadCsv()
    Const PATH = "z:\"          '対象ファイルのフォルダに変更してください
    Const INFILE = "[aaa.csv]"  '入力ファイル名に変更してください
    Const OUTFILE = "[BBB.txt]" '出力ファイル名に変更してください

    Dim objCon As Object
    Set objCon = CreateObject("ADODB.Connection")
    objCon.Provider = "Microsoft.ACE.OLEDB.12.0"
    objCon.Properties("Extended Properties") = "Text;HDR=NO"
    Call objCon.Open(PATH)

    'SQL文作成
    Dim strSQL As String
    strSQL = "SELECT DISTINCT F1,F2 INTO " & OUTFILE & " FROM " & INFILE
    
    'テーブル作成クエリを実行しファイルを作成する
    Dim objCommand As Object
    Set objCommand = CreateObject("ADODB.Command")
    objCommand.ActiveConnection = objCon
    objCommand.CommandText = strSQL
    Call objCommand.Execute
End Sub

Comments

[name1224]

ご回答頂きましてありがとうございます。
SQLを使うという方法は見落としておりました。
ご教授頂きましてありがとうございます。
100万行が原因なのかExcelにペーストされた時に不具合が起きてしまいますが、
件数を減らして試してみたところ上手くいきました。
実行速度もとても速かったです。
コードも見やすく大変勉強となりました。感謝申し上げます。