N-gramで出現している単語のカウントの仕方を知りたい

Question

N-gramで分析した結果から単語のカウントを行いたいのですがやり方がよく分かりませんでした。実行結果のような処理をしたのちに、単語ごとのカウントを行いたいと考えています。こちらの例に対して出力したい内容としては、
煮干し,3
最近,3
濃い,3
.,2
ラーメン屋,1
さん,1
です,1
といったように左側に単語、右側に出現数のカウントを行いたいです。

該当のソースコード

import pandas as pd
import MeCab
import re
from collections import Counter
import numpy as np
import matplotlib.pyplot as plt

# ファイル読み込み
# 対象ファイルの読み込みと形態素解析の実施
with open('data/review_high.csv', encoding='utf-8') as f:
    str = f.read()

def format_text(text):
    text = text.lower()
    text = re.sub(r'[0-9０-９a-zA-Z]+', "", text) #半角
    text = re.sub(r'[!$%&\’\\\\()*+,-./:;?@[\\]^_`{|}~「」〔〕“”〈〉『』【】＆＊・（）＄＃＠？！｀＋￥％]', "", text)

    return text

mecab = MeCab.Tagger("-Ochasen -u \"C:/laboratory/MeCab/dic/neologd/neologd.dic\"")
str = format_text(str)
work_mecab_arry = mecab.parse(str).splitlines()

# 形態素解析結果の配列形式の変更
mecab_arry = []
for u in work_mecab_arry:
    member = []
    member = re.split('\t',u)
    mecab_arry.append(member)

# 形態素解析結果から単語部分の抽出
word_arry = []
for u in mecab_arry:
    word_arry.append(u[0])

with open('data/japanese.txt',encoding='utf-8') as f:
    stop_words = f.read().splitlines()

result_word_list = []

for line in mecab.parse(str).splitlines():
    if line is None or line == '' or line == 'EOS' or len(line.split()) < 4:
        continue
        for target_part_of_speech in target_parts_of_speech:
            if target_part_of_speech == line.split()[3]:
                word = line.split()[2]
                if not word in stop_words:
                    result_word_list.append(word)

# 2-gram, 3-gramの配列作成
bg_list = list(zip(word_arry[:-1],word_arry[1:]))
tg_list = list(zip(word_arry[:-2],word_arry[1:-1],word_arry[2:]))

# 2-gram, 3-gramの頻度のカウント
bigram_arry = Counter(bg_list)
trigram_arry = Counter(tg_list)

# 分析結果の表示
for k, v in sorted(bigram_arry.items(), key=lambda x:x[1], reverse=True):
    print(k, v)

for k, v in sorted(trigram_arry.items(), key=lambda x:x[1], reverse=True):
    print(k, v)

ここまでの実行結果（一部抜粋）

('です', '．', '最近') 1
('．', '最近', '濃い') 1
('最近', '濃い', '煮干し') 1
('濃い', '煮干し', 'ラーメン屋') 1
('煮干し', 'ラーメン屋', 'さん') 1

Comments

[quickquip]

このあと何がしたいのかが──つまり
> N-gramで分析した結果から単語のカウントを行いたい
> 単語ごとのカウントを行いたい
の部分が伝わりません。

[tina]

失礼しました。参考にしているブログを張り付けてもよろしいでしょうか？そこで行われているような結果を取得したいと考えているのですが、、、KH Code 3で単語抽出を行おうと考えて上記の結果をテキストファイルに出力しようとも考えたのですが上手くいかずで

[quickquip]

だとすると、入力の例
('です', '．', '最近') 1
('．', '最近', '濃い') 1
('最近', '濃い', '煮干し') 1
('濃い', '煮干し', 'ラーメン屋') 1
('煮干し', 'ラーメン屋', 'さん') 1
に対して「このような形式にしたい」という「欲しい出力」を書くのがよいと思います。

できればその上で何に詰まっているのかがあればいいのですが（そうでないと修正依頼がくるので）、少なくとも、やりたいものの仕様を説明する こと/能力 が 質問/プログラミング には必要です。

[tina]

('です', '．', '最近') 1
('．', '最近', '濃い') 1
('最近', '濃い', '煮干し') 1
('濃い', '煮干し', 'ラーメン屋') 1
('煮干し', 'ラーメン屋', 'さん') 1
こちらの例に対して出力したい内容としては、
煮干し,3
最近,3
最近,2
といった形にしたいと考えています。

[quickquip]

という感じで出力したいことが質問に書いてあると、

3や2はどういう数字ですか?
'最近'が2なのはなぜですか?
'濃い' 'ラーメン屋' 'です' 'さん' '．' がないのはなぜですか?

といった **具体的な** ことがきけるようになるのです。
質問を修正しましょう。

[tina]

丁重なご指導ありがとうございます。参考になります。未熟な私に対して親切な対応ありがとうございます。

Answer 1

https://docs.python.org/ja/3/library/itertools.html#itertools.chain.from_iterable

itertools.chain.from_iterableを使って、

from itertools import chain
(略)
bigram_arry = Counter(chain.from_iterable(bg_list))
trigram_arry = Counter(chain.from_iterable(tg_list))

と書けると思います。

---

ただ、これは単に

trigramの場合
先頭要素と末尾要素を1
先頭要素の次と末尾要素の前を2
他を3
と重みを付けただけで、普通に単語数え上げをするのとあまり違わないんじゃないかと感じました。

Comments

[tina]

なるほど、、、もう少し考察を深めて考えます！コードは確かに挙動通りになりました！ご指摘等ありがとうございました！