シェルスクリプトで特定の文字の出現回数を集計したい

Question

ツール：VIM version 7.4.1099

100万件近いアクセスログの中から特定の文字の出現する回数を集計したいと考えております。
集計したい文字は5000件ほどあり別ファイルとして現在保存しております。

あああ
いいい
ううう
えええ
.
.
.
.

こんな感じです。

1件ずつ

cat access.log | grep あああ | wc -l

とやれば一応数は出てくるのですがこれを5000回以上やるのが現実的でないのでシェルで外部ファイルをwhileとかで読み込みながらなんとか出来ないかと考えております。
宜しくお願い致します

Answer 1

一応確認ですが
・アクセスログファイルは1個(または数個)で100万行ほどある。(access.log)
・検索したい文字列は1行に1文字列の形のファイルがあって5000行ほどある(word.txt)
ということで合ってますか？

単にword.txtに対応する行に一致件数を表示するなら次のようになります。

cat word.txt | xargs -n 1 -i@ sh -c "grep @ access.log | wc -l"

検索文字列と一致件数を表示するなら次のようになります。

cat word.txt | xargs -n 1 -i@ grep -o @ access.log | uniq -c

Answer 2

タイトルに、「vimで」と書いてありますが、内容を見るとシェルスクリプトでと言う事でいいんですよね？タグとタイトルを書き直しておいてください。

grep -o -F -f "検索ワードのファイル名" access.log | sort | uniq -c

Comments

[hidezzz]

私の回答が検索文字列ごとに1回ずつgrepコマンドが呼ばれる(今回の例だと5000回)のに対し、こちらの回答はgrepが1回しか呼ばれないので優れていると思います。

Answer 3

更新を見たら全然違う話でしたね。お恥ずかしい。
解決策にならないので本回答は無視してください。

---

cat は複数のファイルを引数に取れるので、

cat fileA fileB | grep moji | wc -l

でどうでしょう。

---

追記
5000ファイルだった……
それだと私の場合は
ls (ファイルのディレクトリ) | xargs grep moji | wc -l
ですが、ほかの人がもっといい案を出せそうです…