csv内のデータで重複している行を削除したい。(完全重複ではない。)

Question

前提

csvにデータを出力しています。
csvについてはマージ処理をしています。
csvのデータの中で一部一致していない列が存在しているのですがそれを無視して重複を削除したい。

実現したいこと

csv記載例）
A列、B列、C列、D列
ホスト名、メールアドレス、パスワード、出力時間

上記前提にあるようにcsvファイルをマージしているので同じホスト名、メールアドレスが出力される場合があります。
(パスワード、出力時間に関してはマージをする際に一意になるため重複しません。)

powershellを使ってマージされたcsvを読み込みホスト名やメールアドレスの列でソートをかけて重複している場合は
その行を削除するようにしたいと考えています。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

#マージしたcsv格納先指定
$filepath =　"C:\hoge"

Get-Content -Path $filepath | sort -Unique

上記スクリプトだとパスワードと出力時間が一致しないためホスト名、メールアドレスが一致しても削除されません。
実現したいのはホスト名もしくはメールアドレスの列で重複していれば削除するようにしたいです。

試したこと

ソースコードに記載した内容を実施

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

■UTF8対応

■こちらをお試しください。

$FileName   = "C:\hoge\USER.csv"
$CSV        = @(Import-Csv -LiteralPath $FileName -Delimiter "," -Encoding UTF8 -Header @("A","B","C","D"))
$PSC        = [ordered]@{}
$DeleteDATA = foreach ( $DATA in $CSV ){
                  $PSC["host"]     = $DATA.A
                  $PSC["mail"]     = $DATA.B
                  $PSC["password"] = $DATA.C
                  $PSC["time"]     = $DATA.D
                  [PSCustomObject]$PSC
              }
$DeleteDATA = $DeleteDATA.GetEnumerator() | Sort-Object -Unique {$_.host}
$OutFile    = "C:\hoge\重複している行を削除したもの.csv"
$stream     = New-Object System.IO.StreamWriter($OutFile,$False,(New-Object System.Text.UTF8Encoding($False)))
Write-Output $DeleteDATA | ConvertTo-Csv -NoTypeInformation | Select-Object -skip 1 | ForEach-Object {
    $stream.WriteLine($_)
}
$stream.Close()

※13行目以降、ファイル出力を UTF8BOM（無）に変更しました。

Comments

[jackal1978]

こちらの環境で実施したところ問題なくcsvに要件を満たした内容で出力されたことを確認いたしました。
長期間にわたりご対応いただきましてありがとうございます。
今後もこのスクリプトについては応用がききそうなので勉強を続けてまいりたいと考えております。

Answer 2

■テスト用csvファイル ※ C:\hogeフォルダに入れて下さい。

"host2","[e-mail]","ghi","00:00:03"
"host3","[e-mail]","jkl","00:00:04"
"host3","[e-mail]","mno","00:00:05"
"host3","[e-mail]","pqr","00:00:06"
"host1","[e-mail]","abc","00:00:01"
"host1","[e-mail]","def","00:00:02"

① USER.csvを作成します。← 保存時の文字コードは UTF8 で保存します。
② C:\hoge\USER.csv    ← ここに入れて下さい。

Comments

[jackal1978]

ご回答ありがとうございます。
こちらの環境のせいなのかcsvで一番上の行のみが表示されているようです。
ただ、エラーがでてとまっているわけではないのでこちらで引き続き調査を進めようと思います。
1点不明なのでご教示ください。上の文でcsvを保存するときにANSIで保尊とありましたが、こちらの環境ではANSIはなく、UTF-8カンマ区切り、CSVカンマ区切りの2つだけCSVに関しては表示がありました。
ps1自体は保尊方法にANSIがありましたのでそちらで保存して実行をしております。

[ccc-]

■■■■■
■ 2行目■
■■■■■

■変更前
$CSV = @(Import-Csv -LiteralPath $FileName -Delimiter "," -Encoding Default -Header @("A","B","C","D"))

↓

■変更後
$CSV = @(Import-Csv -LiteralPath $FileName -Delimiter "," -Encoding UTF8 -Header @("A","B","C","D"))

と、

■■■■■
■13行目■
■■■■■

■変更前
Write-Output $DeleteDATA | ConvertTo-Csv -NoTypeInformation | Select-Object -skip 1 | Out-File -Encoding Default $OutFile

↓

■変更後
Write-Output $DeleteDATA | ConvertTo-Csv -NoTypeInformation | Select-Object -skip 1 | Out-File -Encoding UTF8 $OutFile

※お手数ですが、上記の部分を２ヶ所、変更してお試し頂けますか？

[ccc-]

※申し訳ございません。13行目に問題がありますので、再度ＵＰします。