CSV形式のファイルをDatatableにInsertする

Question

前提・実現したいこと

カンマ区切り(,)かつフィールドをダブルクォート（"）で囲まれているCSV形式のファイルを
DDataTableにInsertしたいです。

発生している問題・エラーメッセージ

以下のサイトを参考に実装しました。
CSV形式のファイルをDataTableや配列等として取得する

デバック中に該当のDataTableを右クリックして「ウォッチ式に追加」→「虫眼鏡マーク」
→「DataSetビジュアライザー」にて、中身を確認したところ文字化けを起こしていました。

念のためDataGridViewに表示して確認しましたがが同様に文字化けを起こしていました。
※Jet Provider、ODBC Provider両方でこの文字化けが起きました。

問題の考察

文字コードが関係しているのかと勝手に思っています。

今回、読み込む元となったCSV形式のファイルの文字コードは「UTF-8 BOM付き」です。

読み込む元の文字コードが変わる恐れはなさそうなのですが、できればどんな文字コードでも
対応できるようにしたいです。

また、DataTableには1行目をヘッダとして登録したいです。

なお、今回CSV形式のファイルをDataTableにInsertする機能を実装したいという背景には
CSV形式のファイル内のデータに対して並び替え、データの抽出を行いたいためというのがあるためです。

解決できず、とても困っています。
どうぞ、よろしくお願い申し上げます。

【追記】Jet Provider使用

'CSVファイルのあるフォルダ
Dim csvDir As String = "C:\test"
'CSVファイルの名前
Dim csvFileName As String = "test.csv"

'接続文字列
Dim conString As String = _
"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" _
+ csvDir + ";Extended Properties=""text;HDR=No;FMT=Delimited"""
Dim con As New System.Data.OleDb.OleDbConnection(conString)

Dim commText As String = "SELECT * FROM [" + csvFileName + "]"
Dim da As New System.Data.OleDb.OleDbDataAdapter(commText, con)

'DataTableに格納する
Dim dt As New DataTable
da.Fill(dt)

補足情報（FW/ツールのバージョンなど）

Visual Studio 2015
VB.NET

Answer 1

Jet Provider使用

JET を使う場合、何もしないと CSV ファイルの文字コードが Shift_JIS でない限りダメです。

文字コードが UTF-8 など SHift_JIS 以外の場合の対応策は、schema.ini というファイルを作り、それに文字コードを指定して CSV ファイルと同じディレクトリに配置することです。

また、JET プロバイダはデフォルトで最初の 8 行のデータをスキャンして各列のデータ型を推測しますが、その際、予期しない型に推測されてしまうことも schema.ini で型を指定することとにより防ぐことができます。

Answer 2

昔同じ問題に直面してTextFieldParserを使いました。

Answer 3

Jet Providerって古い気がするので、もしかしたら、Shift-JIS Only と思って検索したら、

CSV パーサー と言うページがありました。 やっぱり、S-JISみたいです。
対応方法は、"schema.ini というファイルを作り、それに文字コードを指定..." とありました。他に、TextFieldParser　とか使う方法もありますね。 詳細は、こちらを見て頂いた方が早いかと。

---

時々、CSVファイルも扱いますが、大抵は手抜きの力業で済んでいる...。

Comments

[xxx8]

ご回答ありがとうございます。
早速、TextFieldParserを使用して実装してみようかと思います。

Answer 4

CSVに限らずエンコードが異なる場合は例えば以下のようなサイトを参考にして、ファイルの読み込み時にエンコードの種別を指定して読み込む。

目的の文字コードに合ったEncodingオブジェクトを取得する

これで良いのでは？

Comments

[xxx8]

回答ありがとうございます。
とても初歩的な質問かと思いますが、お許しください。

「【追記】Jet Provider使用」にソースを記載いたしました。

「目的の文字コードに合ったEncodingオブジェクトを取得する 」
を実装する場合、どの部分で適切なEncodingオブジェクトを選択して
テキストファイルを読み込まないといけないのでしょうか？

[MasahikoHirata]

JETならば参考にして欲しいのが　http://www.ken3.org/cgi-bin/test/test099-1.asp　。UTF－8の指定方法が。
JETは使った事が無かったので調べました。