バッチファイルでCSVの文字コードを「Shift-JIS→UTF-8」に変換したい

Dドライブ上にあるShift-JISで作られたdata1.csvをUTF-8に変換するバッチファイル(test.bat)を作成しましたが、実行して生成されたファイル(data2.csv)には何もテキストが入っていない空の状態になってしまいます。

~~ただし、生成されたdata2.csv自体は「UTF-8」への変換に成功しています。(テキストエディタで確認)~~
また、大元のdata1.csvには日本語を含んだ100行程度のデータが入っています。
バッチ初心者なのでテキスト内容のコピーを含めた変換方法をご教示いただけると幸いです。

以下がソース

@echo off

start /min /wait cmd /c chcp 65001 ^& cmd /c type d:¥data1.csv > d:¥data2.csv

maisumakun

2019/01/30 04:10

「何もテキストが入っていない空の状態」なのに「変換に成功」したと言える理由は何でしょうか。0バイトのファイルは、UTF-８でもシフトJISでもASCIIでも、全く同じファイルです。

KazukiNakata

2019/01/30 04:19

テキストエディタ(Mery)で「名前を付けて保存」画面を表示した時に表示されるエンコード「UTF-8」となっていたためそう判断しましたが、０バイトだと関係ないのですね。すみません、私の勉強不足です。

行動規範の内容に同意します

回答2件

ベストアンサー

d:¥data2.csvが空なのは、> d:¥data2.csvが、startに対してのリダイレクトになっているからです。^> d:¥data2.csvとエスケープすれば、typeに対してのリダイレクトになります。

ただ、この方法でUTF-8にすることはできません。

BOM付きのUTF-8で良ければ、PowerShellを使って、

CMD
1powershell -Command "get-content data1.csv | Set-Content -Encoding UTF8 data2.csv"

BOM無しもがんばればできるようです。

投稿2019/01/30 05:13

otn

総合スコア84540

Zuishin

2019/01/30 06:00

補足ですが、PowerShell 6.0 では BOM 無し UTF-8 がデフォルトになりました。また -Encoding 引数が string 型から System.Text.Encoding 型に変わりました。 -Encoding UTF8 がどう解釈されるかは試していませんが、以前の文字列と同じ物は使えない場合があります。

otn

2019/01/30 06:26 編集

ああ、そうなんですね。ありがとうございます。上記は、Windows7での記述です。

KazukiNakata

2019/01/31 11:37

otn> ご指摘ありがとうございます。また、記載いただいたPowerShellのコードが大変役に立ちました。 MYSQLに取り込む関係上、BOMなしUTF-8が理想でしたが、BOM付きでも取り込むことができました。BOM付きUTF-8だと1レコード目がMYSQL取り込み時に目的のフィールドではない箇所に入ってしまいますが、工夫次第でカバーできそうです。今後BOMなしでできるかは自力で改変していきます。

KazukiNakata

2019/01/31 11:54 編集

>Zuishin 補足ありがとうございました。WindowsServer2012R2だったのでPowerShell 4.0でした。BOMなしデフォルトだと申し分ないので6.0へのバージョンアップも検討してみようと思います。

Zuishin

2019/01/31 12:00

未来の人のための補足だったんですが、PowerShell 6 は .NET Framework でなく .NET Core になり、使えなくなったコマンドレットやモジュール、パスの変更など色々と破壊的変更があるのでバージョンアップは慎重に行った方がいいかもしれません。私は問題ないので移行しましたが、環境によってはかえって不便になる可能性もあります。

KazukiNakata

2019/01/31 14:18

>Zuishin ご意見ありがとうございます。職場にPowerShellの先駆者がいないため、ある意味バージョンアップのハードルは低いかもしれないです。あまり触れる機会がなかったので将来性を考えて勉強するとなると6.0も良いなと思いました。

行動規範の内容に同意します

こんにちは。

下のコードで可能です（Win10にて確認）。
使い方などは参考サイトをご覧ください。

dos
1@echo off
2:Shift_JIS -> UTF-8
3setlocal enabledelayedexpansion
4for %%f in (%*) do (
5  echo %%~ff| findstr /l /e /i ".txt .csv"
6  if !ERRORLEVEL! equ 0 (
7    powershell -nop -c "&{[IO.File]::WriteAllText($args[1], [IO.File]::ReadAllText($args[0], [Text.Encoding]::GetEncoding(932)))}" \"%%~ff\" \"%%~ff.utf8%%~xf\"
8  )
9)