大量のテキストデータから単語数を集計する方法

Question

現在、macのターミナル上でmecabに | cut -f 1 | sort | uniq -c | sort -r -n コマンドを使って１ファイル１行のテキストファイルの単語数をカウントをしています。1000ファイル結合した1000行のテキストファイルなら問題なくカウント出来ました。
しかし、10000行のような膨大な数で実行すると、argument list too long というエラーが起きてしまいます。
多くのテキストデータのカウントできるようにする良い方法は何か無いでしょうか？

ご教授お願い致します。

ターミナルのコマンドに関しては以下のURLのサイトを参考にしました。
http://ldl.ic.kanagawa-it.ac.jp/ioroi/programer/wordcount/wordcount.html

Comments

[matobaa]

10000行やそこらでへこたれるはずはない、と思うのですが。コマンド行そのまま質問に追記できますか? 途中に * とかが入ってるんじゃないかと思ってるのですけど

[sdnco]

おっしゃる通りです。
質問した時点で使用していたコマンドにはワイルドカード(*)が入っていました。
以下がそのコマンドです。
cat ./test_log/$no/*
以上のコマンドのようにテキストファイルを結合する際に使用しました。
質問文に不足があり申し訳ありません。

Answer 1

おそらく 10000 × ファイル名文字数 で文字数のオーバーエラーと考えられるので、なるべく右辺の文字数を少なくする方法で試してみては同でしょうか？cdしてディレクトリ名が含まない様にするとか、ファイル名で分割するとかです。

findでは

find . -type f | xargs cut -f 1  | sort | uniq -c | sort -r -n

Comments

[sdnco]

回答ありがとうございます。
質問した時点で使用していたコマンドにはワイルドカード(*)が入っていました。
質問文に不足があり申し訳ありません。
提示していただいたコマンドでは成功しました。
おっしゃる通りワイルドカード(*)の使用による文字数オーバーが原因と思われます。

[sdnco]

以下のURLを参考にしました。
http://assimane.blog.so-net.ne.jp/2011-01-15
ところで、A.Ichiさんの回答にあった「なるべく右辺の文字数を少なくする方法」の"右辺"とは何のことを指しているのでしょうか？

[A.Ichi]

xargs は、左辺(find)からの出力を次のコマンド(cut)に対してのパラメーターを並べて渡す機能ですのでフィル名が長く（ディレクトリが名を含む）×数が多いと言う意味でオーバーフローの原因になると思われます。わかりづらくてすみません。

Answer 2

argument list too long
はコマンドライン上のパラメータが長すぎることを意味しています、
(大抵は * を展開した結果が長くなった時など)

参考情報

• catしきれない時はxargsを使う http://d.hatena.ne.jp/shokai/20111219/1324299104

Answer 3

確認ですが

cd /hoge
mecab * | cut -f 1 | sort | uniq -c | sort -r -n

みたいにしたらエラーが出るということでしょうか。
例えば

#!/bin/sh
tf='/tmp/text_file'
rm -f $tf
touch $tf
cd /hoge
ls -1 | \
while read f
do
  cat $f >>$tf
done
mecab $tf | cut -f 1 | sort | uniq -c | sort -r -n

って感じで、1ファイルに結合してから
実行してみてはどうでしょうか。