C# リストからの抽出

Question

前提

初心者です。

csvファイルから英単語、日本語、発音記号を読み込んで、以下のようにコンソール画面に出力したいです。

fabricate
(…を)組み立てて製造する
[fˈæbrɪkèɪt]
revoke
取り消す、廃止する
[rɪvóʊk, rɪvˈəʊk]
violate
犯す、破る
[vάɪəlèɪt, ˈvaɪʌleɪt]

csvファイルは以下のようになっています。

fabricate,(…を)組み立てて製造する,[fˈæbrɪkèɪt]
revoke,取り消す、廃止する,[rɪvóʊk, rɪvˈəʊk]
violate,犯す、破る,[vάɪəlèɪt, ˈvaɪʌleɪt]

試したC#コード

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;

internal class Program
{
    static void Main(string[] args)
    {
        StreamReader sr = new StreamReader(@"読み込むcsvファイルのパス");

        var lis1 = new List<string>();
        while (!sr.EndOfStream)
        {
            string line = sr.ReadLine();
            lis1.Add(line);
        }

        string split = String.Join(",", lis1);
        Console.WriteLine(split);

        var lis2 = new List<string>();
        lis2 = split.Split(',').ToList();

        for (int i = 0; i < lis2.Count; i += 3)
        {
            Console.WriteLine(lis2[i]);   //英語
            Console.WriteLine(lis2[i+1]);   //日本語
            Console.WriteLine(lis2[i+2]);   //発音記号
        }
    }
}

発生している問題

以下、出力結果。

fabricate
(…を)組み立てて製造する
[f?abr?ke?t]
revoke
取り消す、廃止する
"[r?vo?k
r?v???k]"
violate
犯す、破る
"[v???le?t
?va??le?t]"

・発音記号に含まれる" , "によって英語、日本語、発音記号がうまく分離できない。
・発音記号が文字化けしている。

知りたいこと

・プログラム中の" lis2 "のリストを作ったうえで、前提に書いたように出力したいです。
・文字化けの対処法が知りたいです。
よろしくお願いいたします。

補足情報

visual studio 2022

Comments

[BeatStar]

OSはWindowsでいいですか？
それと、ファイルの文字コードは何ですか？
もしかするとファイルの文字コードの問題か、OSの設定によるものかもしれません。

ヒント: https://otona-life.com/2022/06/10/121615/amp/

[Zuishin]

カンマが余計なところに含まれているのは CSV として正しくないので、修正が必要です。
abc,def を二つに分けたくないなら、"abc,def" としなければなりません。

当然これは Split によって単純に分けることはできないので、ダブルクォーテーションで囲まれたところを除いて分割するようなプログラムにしなければなりません。

文字化けするのは、コンソールその他もろもろが Unicode 対応していないからでしょう。
対応させてください。

[Melvin]

windowsです。
文字コードはメモ帳で確認したところ、UTF-8(BOM付き)でした。

[KOZ6.0]

csv を保存するときのコードは何ですか？BOMはありますか？

[KOZ6.0]

しまった、リロードしたら回答がありましたね

[BeatStar]

ボムありの方でやってみてください。もしそれでできないならOS側の設定かも？

[退会済みユーザー]

質問者さん、無言ですが、回答されているのでそれらに対するフィードバックを返してください。役に立った/立たなかったぐらいはすぐに返せるのでは？ 役に立たなかったならどこがダメかを書くとより期待に近い回答が出てくるかも。とにかく無言は NG です。

[Melvin]

返信が遅れて申し訳ありません。
文字化けですが、回答いただいたように実行しましたら、解消しました。また、発音記号の分離ですが、csvを書き換えることができる仕様でしたので、書き換えることで解決しました。
回答していただいた皆様、ありがとうございました。

Answer 1

発音記号にカンマを含んでいますが、最後の項目なので、１行ずつ処理して３番目の項目以降はくっつければ良いです。
（途中の項目だとそうはいきません。）

出力時のエンコーディングは Console.OutputEncoding で決まります。
Unicode 系なら何でも良いですが、ファイルにリダイレクトしたときを考えて選択するといいと思います。
メモ帳の対応を考えると UTF8 が無難な気がします。

using System;
using System.Collections.Generic;
using System.IO;
using System.Text;

class Program
{
    static void Main(string[] args) {
        StreamReader sr = new StreamReader(@"test.csv", Encoding.UTF8);
        Console.OutputEncoding = Encoding.UTF8;

        var lis1 = new List<string>();
        while (!sr.EndOfStream) {
            string line = sr.ReadLine();
            lis1.Add(line);
        }

        string split = String.Join(",", lis1);
        Console.WriteLine(split);

        var lis2 = new List<string>();
        foreach (var line in lis1) {
            var fields = line.Split(',');
            lis2.Add(fields[0]);
            lis2.Add(fields[1]);
            lis2.Add(string.Join(",", fields, 2, fields.Length - 2));
        }

        for (int i = 0; i < lis2.Count; i += 3) {
            Console.WriteLine(lis2[i]);       //英語
            Console.WriteLine(lis2[i + 1]);   //日本語
            Console.WriteLine(lis2[i + 2]);   //発音記号
        }
    }
}

Answer 2

小細工はしないで正攻法でやることをお勧めします。例えば、

(1) CSV のフィールドにカンマが含まれる場合、フィールドをダブルクォート（"）で囲む。

以下の記事の「CSV形式とは？」を読んでください。

CSV形式のファイルをDataTableや配列等として取得する
http://dobon.net/vb/dotnet/file/readcsvfile.html

(2) 文字コードをきちんと考える

今は CSV ファイルは Shift_JIS になっているとか？ だとすると、Shift_JIS に無い文字が使われているので、ファイルの中身が既に文字化け状態です。

文字化けしているのを StreamReader が読んでくるので、そのまま文字化けで出力されるというのが現状ではないのですか？

---

【追記】

上に書いた (1), (2) に沿った例を追記しておきます。

(1) CSV のフィールドにカンマが含まれる場合、フィールドをダブルクォート（"）で囲む。

以下の画像のように [rɪvóʊk, rɪvˈəʊk] と [vάɪəlèɪt, ˈvaɪʌleɪt] を " で囲います。文字コードは BOM なしの UTF-8 にしておきます（メモ帳のデフォルト）。

(2) 文字コードをきちんと考える

アプリで CSV ファイルを読むときは UTF-8 で、コンソールに出力する時はデフォルトの CodePage ではなく Unicode とします (CodePage = 日本語 OS では Shift_JIS に含まれない文字があるので)。

コンソールの Unicode サポート
https://docs.microsoft.com/ja-jp/dotnet/api/system.console?view=net-6.0#unicode-support-for-the-console

サンプルコードを以下に載せておきます。.NET 6.0 のコンソールアプリです。上の (1) のような CSV ファイルの処置が可能なパーサーを自力でコーディングするのは簡単ではありませんので、既存のパーサー TextFieldParser を使っています。

TextFieldParser クラス
https://docs.microsoft.com/ja-jp/dotnet/api/microsoft.visualbasic.fileio.textfieldparser?view=net-6.0

using Microsoft.VisualBasic.FileIO;
using System.Text;

string path = @"C:\Users\surfe\Documents\Visual Studio 2022\Net6App\ConsoleAppCsv\ConsoleAppCsv\CsvFile1.csv";

// CSV ファイルが UTF-8 なので第 2 引数に Encoding.UTF8 を設定
using (var parser = new TextFieldParser(path, Encoding.UTF8))
{
    var list = new List<List<string>>();
    
    //フィールドがデリミタで区切られている
    parser.TextFieldType = FieldType.Delimited;
    // デリミタを , とする
    parser.Delimiters = new string[] { "," };
    // フィールドを " で囲み、改行文字、デリミタを含めることができるか
    parser.HasFieldsEnclosedInQuotes = true;
    // フィールドの前後からスペースを削除
    parser.TrimWhiteSpace = true;

    while (!parser.EndOfData)
    {
        string[]? fields = parser.ReadFields();
        if (fields != null)
        {
            list.Add(fields.ToList());
        }
    }

    // コンソールに出力する時はデフォルトの CodePage ではなく Unicode
    // とします (CodePage = 日本語 OS では Shift_JIS に含まれない文字
    // があるので)
    Console.OutputEncoding = Encoding.Unicode;

    foreach (List<string> line in list)
    {
        foreach (string field in line)
        {
            Console.WriteLine(field);
        }
    }
}

実行結果は以下の通りです。

Answer 3

発音記号に含まれる" , "によって英語、日本語、発音記号がうまく分離できない

まず、コードを読んでみましょう。
コードを読むコツは「一行レベルで、その行が何をしているか考えながら読む」です。

Internal class Program
{
    static void Main(string[] args)
    {
        // ファイルを読み込むためのオブジェクトを生成
        StreamReader sr = new StreamReader(@"読み込むcsvファイルのパス");
        // lis1をstring用のListとして生成
        var lis1 = new List<string>();
        // ファイルが最後尾まで以下を繰り返す
        while (!sr.EndOfStream)
        {
            // 一行レベルで読み取り、
            string line = sr.ReadLine();
            // lis1に追加
            lis1.Add(line);
        }
        // lis1のデータを”,”を区切り文字として文字列にし、表示
        string split = String.Join(",", lis1);
        Console.WriteLine(split);

        // string用のListを生成し、
        var lis2 = new List<string>();
        // 先ほど連結した文字列を再び分割
        lis2 = split.Split(',').ToList();

        // 3ごとに以下をループ
        for (int i = 0; i < lis2.Count; i += 3)
        {
            // それぞれ出力
            Console.WriteLine(lis2[i]);   //英語
            Console.WriteLine(lis2[i+1]);   //日本語
            Console.WriteLine(lis2[i+2]);   //発音記号
        }
    }
}

みたいな感じですね。

で、これを実際にデータを使ってやってみましょう。

まずファイルを読み込むとlis1には

lis1[0] = “fabricate,(…を)組み立てて製造する,[fˈæbrɪkèɪt]”
lis1[1] = “revoke,取り消す、廃止する,[rɪvóʊk, rɪvˈəʊk]”
lis1[2] = “violate,犯す、破る,[vάɪəlèɪt, ˈvaɪʌleɪt]”

となっているはずです。

そしてそれをString.Joinで連結し、

split = “fabricate,(…を)組み立てて製造する,[fˈæbrɪkèɪt],revoke,取り消す、廃止する,[rɪvóʊk, rɪvˈəʊk],violate,犯す、破る,[vάɪəlèɪt, ˈvaɪʌleɪt]”

となりますね。
そしてそれを分割すると。

分割するとき、先端から分割していくので、区切り文字が出てくる最初の場所は、fabricateの直後。そのため、fからeまでを取り出して一つの文字列として認識。
先端から区切り文字までは無いものとして次の区切り文字までを一つとする。すると”(“から「する」までを一つとする。次に出てくる区切り文字を探すと、fabricateの発音記号の部分まで一つとして切り出すことに。
で、またさらに区切り文字までを一つとしてrevokeを取り出す。…とやりますが、
revokeの発音記号の場所に区切り文字が
含まれているのでそこまでを一つとする。
次はそこから開始して…となるので、

lis2[0] = fabricate
lis2[1] = (…を)組み立てて製造する
lis2[2] = [fˈæbrɪkèɪt]
lis2[3] = revoke
Lis2[4] = 取り消す、廃止する
Lis2[5] = [rɪvóʊk
Lis2[6] = rɪvˈəʊk]
lis2[7] = violate
Lis2[8] = 犯す、破る
Lis2[9] = [vάɪəlèɪt
Lis2[10] = ˈvaɪʌleɪt]

となっているはずです。

…あれ？ 本来は5番目と6番目は一つになっているべきですよね？
でもこれでは別々のものに。

区切り文字が発音記号の部分に含まれていますから当たり前です。

ではどうするか。対策としては、区切り文字としてのコンマ以外の方、つまり発音記号側に含まれている方のコンマを別の文字に置き換えておいて、読み込み後の分割後に置き換えるのです。
たとえば絶対にシャープ(#)が出てこない前提なら発音記号側の区切りをシャープに置き換えておく。
ファイルには、

fabricate,(…を)組み立てて製造する,[fˈæbrɪkèɪt]
revoke,取り消す、廃止する,[rɪvóʊk# rɪvˈəʊk]
violate,犯す、破る,[vάɪəlèɪt# ˈvaɪʌleɪt]

のような感じでやる。

そのファイルを読み込んで、文字列を分割し、シャープが含まれているのならシャープをコンマに置き換えればできるはずです。

ただし、このファイルに書くのがユーザの場合は問題が発生しやすいです。さらに仕様も変更しないといけないので自分で仕様を決める立場にないならこの方法は取れません。

どうしても仕様を質問にあるようなものにするならsplit処理をすでに提供されている方じゃなくて自前で実装しないといけないです。

Comments

[Melvin]

丁寧に教えていただき、ありがとうございました。
とても分かり易かったです。

Answer 4

カンマが入っている項目がうまく取れない問題については区切り文字をカンマ以外にすれば解決しますね。
区切り文字はカンマでなくてもいいのでとにかくデータにでてこないものを使うのが肝要です。
そもそもライブラリを使うのが簡単ですが。項目名で項目を引っ張れたりするライブラリが多くいろいろと便利です。
https://tech-and-investment.com/csv1/