カンマ区切りのデータの重複する要素とその値を合計したい

Question

閲覧ありがとうございます。

カンマ区切りのデータの重複する要素とその値を合計したいのですが、どのようにすればよいのでしょうか？
とても大きなデータなので、excelでは開けませんでした。

～例～
sample.txt
あああ, 100
いいい, 200
あああ, 300
ううう, 50
いいい, 400

を
result.txt
あああ, 400
いいい, 600
ううう, 50

このようにしたいです。
どうか助言をよろしくお願いいたします。

Answer 1

EXCELで開けない程の巨大なCSVができてしまうと困ってしまいますね・・・というところはさておき、

重複排除した結果の行数がEXCELに読み込める程度のものかつ、EXCELのみを使う条件ならVBAでスクリプトを書いて重複排除しながらシートへ加算するという手もありますが・・・

こうしたテキスト処理だとUnixのawkなどを使えば割と簡単に処理できますのでそれをご紹介します。プログラムという程のものを書かなくても以下のように１行で書けます。WindowsでもGawk for Windowsをインストールすればコマンドプロンプトから同様の手軽さで処理できます。(先頭はawkではなくgawkに変えなければならないかも知れません)

awk -F, '{v[$1]+=$2}END{for(k in v)print k","v[k]}' sample.txt > result.txt

キー数一万、総行数百万行程度のテキストで試してみましたが１秒程度で終わりました。(Windows10 64bit)

Comments

[ode]

ご回答ありがとうございます。
難しく考えていましたが１行ですんでしまうのですね．．．。
とても勉強になりました。ありがとうございました。

Answer 2

既に解決済ではありますが、Elixirで書くと、こんな感じです

なお、下記Elixirコードの説明を、以下URLにて行っています
http://qiita.com/piacere/items/377db38e2c1a7bfd7413

defmodule HugeAgreegation do
	def uniq_sum() do
		result = "sample.txt"
			|> File.stream!
			|> Enum.map( &( String.trim( &1 ) ) )
			|> Enum.map( &( String.split( &1, ", " ) ) )
			|> Enum.map( fn( [ word, num ] ) -> %{ "word" => word, "num" => num } end )
			|> Enum.group_by( fn( pair ) -> pair[ "word" ] end, fn( pair ) -> String.to_integer( pair[ "num" ] ) end )
			|> Enum.map( fn( pair ) -> { elem( pair, 0 ), Enum.sum( elem( pair, 1 ) ) } end )
			|> Enum.map( fn( { word, num_sum } ) -> "#{word}, #{num_sum}\n" end )
		File.write( "result.txt", result )
	end
end

100万行のCSVで、約6秒、といったところでしょうか

Comments

[ode]

とても丁寧な解説、本当にありがとうございます。
恥ずかしながら、Elixirとは初対面でしたが、解説のおかげで理解できました。
また何かありましたらどうかよろしくお願い致します。

Answer 3

c# であり 汚いソースですが役に立てれば幸いです
using System.Collections.Generic;
using System.IO;
using static System.Console;

namespace ConsoleApp3
{
static class Program
{
static void Main(string[] args)
{
if (args.Length < 1)
return;

        List<string> keys = new List<string>();
        Dictionary<string, int> dic = new Dictionary<string, int>();

        using (StreamReader sr = new StreamReader(args[0]))
        {
            string[] rec = sr.ReadLine().Split(',');
            

            for (; rec != null;  ) 
            {

                string tango = rec[0];

                int count= int.Parse(rec[1]);

                if (dic.ContainsKey(tango))
                    dic[tango] += count;
                else
                {
                    dic.Add(tango, count);

                    keys.Add(tango);
                }

                rec = sr?.ReadLine()?.Split(',');
            }

        }

        foreach(string str in keys)
        {
            int count = dic[str];

            WriteLine($"{str},{count}");
        }

        ReadLine();
    }
}

}

Comments

[ode]

プログラムも載せていただいて、丁寧なご回答ありがとうございます。
C言語は久しく触れていないので難しく思えていましたが、このようにすればよかったのですね．．．。
参考にさせていただきます。ありがとうございました。

Answer 4

Excelタグがついているので、Excelマクロでのコード例

Public Sub SumOutput()
    Dim CN As Object
    Dim sSql As String

    Set CN = CreateObject("ADODB.Connection")
  
    With CN
        .Provider = "Microsoft.ACE.OLEDB.12.0"
        .Properties("Extended Properties") = "Text;HDR=NO"
        .ConnectionString = "C:\TEST\" 'ファイルのあるフォルダ
        .Open
    End With

    sSql = "SELECT F1, Sum(F2) INTO [result.txt] FROM [sample.txt] GROUP BY F1;"

    CN.Execute sSql
    CN.Close
    Set CN = Nothing

End Sub

Comments

[ode]

プログラムも載せていただいて、丁寧なご回答ありがとうございます。
早速試してみたのですが、出力されたファイルの文字コードがおかしくなってしまってうまく表示できませんでした。マクロは使用したことがないので対処法がよく分からず、どのようにしたらよいでしょうか？

[hatena19]

元ファイルの文字コードはなんでしょうか。
Shitt-JIS でのテストではうまくいきました。

[ode]

元のファイルはutf-8です。

[hatena19]

utf-8 のファイルでもテストしてみましたが、当方の環境ではうまくいきました。
Windows10 Excel2016
ちなみに、総数100万件、キー1万のサンプルデータで２秒ぐらいでした。

[ode]

そうなのですか、よく分からないですね．．．。
当方の環境は　windows8.1 Excel2010　です。
Excel2010は文字コード変更ができないことが原因なのでしょうか．．．。

Answer 5

linuxマシンにsample.txtをコピーして
hoge.awkファイルを作成

$ cat hoge.awk
BEGIN{
  x = ""
}
{
  if ($1 == x) {
    n = n + $2
  } else {
    if (x != "") {
      print x "," n
    }
    x = $1
    n = $2
  }
}
END{
  print x "," n
}

上記を使ってこんな感じで実行

$ cat sample.txt | tr ',' ' ' | sort -k 1,1  | awk -f hoge.awk >result.txt

Comments

[ode]

プログラムも載せていただいて、丁寧なご回答ありがとうございます。
早速試してみたのですが、統合後のファイルを開いてみても、元のファイルと変わらず統合されませんでした。
この形のプログラムは書いたことがなく、また助言をいただければ幸いです。

[ode]

失礼致しました。
もう一度試してみたところ、しっかりと統合されておりました。
とても助かりました。ありがとうございました。
また何かありましたらどうかよろしくお願いいたします。