ngramの実装について mecab部分の除去

Question

前提・実現したいこと

私はサイト上のテキストの中にどのような単語が多く含まれ出現しているのか調べるプログラムを現在組んでいます。その中で、形態素解析を先にしたプログラムを作り、その部分だけを取り除きたいと思い試行錯誤したのですがなかなかうまくいきません。mecab処理のところをどのように消せばいいのか教えていただきたいです。

該当のソースコード

# coding: utf-8

import sys
import json
import MeCab
import urllib.request, urllib.error, urllib.parse
from collections import defaultdict
from operator import itemgetter
from bs4 import BeautifulSoup
from bs4 import NavigableString
from bs4 import Comment, Declaration

class Ngram():
    
    def __init__(self, N=3):
        self.N = N
        self.tagger = MeCab.Tagger("-Owakati")
    
    def get(self, text, ngram=None):
        seq = self.tagger.parse(text).split()

        if ngram is None:
            ngram = [defaultdict(int) for x in range((self.N + 1))]
            ngram[0] = None
        
        for i in range(len(seq)):
            for n in range(1, self.N + 1):
                idx = i - n + 1  # check ngram is valid range
                if idx >= 0:
                    key_words = []
                    for j in range(idx, i+1):
                        key_words.append(seq[j])
                    key = ' '.join(key_words)
                    ngram[n][key] += 1
        
        return ngram


class HTMLParser():
    
    def get(self, url):
        try:
            c = urllib.request.urlopen(url)
        except:
            print("Could not open %s" % url)
            return ""
        
        soup = BeautifulSoup(c.read(), "lxml")
        text = '\n'.join(self.__getNavigableStrings(soup))
        return text
    
    def __getNavigableStrings(self, soup):
        if isinstance(soup, NavigableString):
            if type(soup) not in (Comment, Declaration) and soup.strip():
                yield soup
        elif soup.name not in ('script', 'style'):
            for c in soup.contents:
                for g in self.__getNavigableStrings(c):
                    yield g


if __name__ == "__main__":
    
    f = open("urls.json", "r")
    urls = json.load(f)
    f.close()
    print("Count of urls : " + str(len(urls)))
    
    N = 10
    hp = HTMLParser()
    ng = Ngram(N)
    
    ngram = None
    for url in urls:
        text = hp.get(url)
        ngram = ng.get(text, ngram)
    
    for n in range(1, (N + 1)):
        f = open('outputs/{:02d}.tsv'.format(n), 'w')
        out = ""
        for k, v in sorted(list(ngram[n].items()), key=itemgetter(1), reverse=True):
            out += "{}\t{}\n".format(k, v)
        f.write(out)
        f.close()

###mecab処理の部分をコメントアウトした際のエラー文

Count of urls : 1
Traceback (most recent call last):
File "ngram.py", line 76, in <module>
ngram = ng.get(text, ngram)
File "ngram.py", line 20, in get
seq = self.parse(text).split()
AttributeError: 'Ngram' object has no attribute 'parse'

###試したこと
mecabの部分をコメントアウトしたりしたのですがうまくいかなかったです。

Comments

[quickquip]

"形態素解析を先にしたプログラムを作り、その部分だけを取り除きたい"の意味が分かりません。このコードがどういう風にあなたの意図と違うのか分かりません。"mecab処理のところをどのように消せばいいのか"でなぜ消したいのか分かりません。動かないソースではないので仕様を変えたいのだろう、ということだけはかろうじて推測できますがそれまでです。

[rrrrrrrry]

先にmecab処理をしてしまうと単語として区切られる処理が先にされてしまうので、どのような単語が出現するのかを確認したい目的があるためその処理がいらないことに気づきました。mecabの部分をコメントアウトするとうまくいかないためこのような質問をさせていただいております。コメントアウトした場合のエラー文を追記します。

[quickquip]

単語を区切らずにどうやって出現している単語が確認できるのか説明ください。文字ngramで十分ということですか?

[quickquip]

例えば、"私はサイト上のテキストの中にどのような単語が多く含まれ出現しているのか調べるプログラムを現在組んでいます。"という文を処理した時の欲しい結果はなんですか?

[rrrrrrrry]

私、は、サ、イ...のように1文字単位でngram処理をしたいです。mecab処理をしてしまうと私、は、サイトのようになってしまうところを修正したいです。

Answer 1

ほとんど何もしなくても文字n-gramは作れますね。

import MeCab
from collections import defaultdict
from pprint import pprint

class Ngram():
    def __init__(self, N=3):
        self.N = N
        self.tagger = MeCab.Tagger("-Owakati")

    def get(self, seq, ngram=None):  # 引数名を変更
        #  seq = self.tagger.parse(text).split()  # コメントアウト

        if ngram is None:
            ngram = [defaultdict(int) for x in range((self.N + 1))]
            ngram[0] = None

        for i in range(len(seq)):
            for n in range(1, self.N + 1):
                idx = i - n + 1  # check ngram is valid range
                if idx >= 0:
                    key_words = []
                    for j in range(idx, i+1):
                        key_words.append(seq[j])
                    key = ' '.join(key_words)
                    ngram[n][key] += 1

        return ngram

ngram = Ngram()
pprint(ngram.get("吾輩は猫である。"))
""" =>
[None,
 defaultdict(<class 'int'>,
             {'。': 1,
              'あ': 1,
              'で': 1,
              'は': 1,
              'る': 1,
              '吾': 1,
              '猫': 1,
              '輩': 1}),
 defaultdict(<class 'int'>,
             {'あ る': 1,
              'で あ': 1,
              'は 猫': 1,
              'る 。': 1,
              '吾 輩': 1,
              '猫 で': 1,
              '輩 は': 1}),
 defaultdict(<class 'int'>,
             {'あ る 。': 1,
              'で あ る': 1,
              'は 猫 で': 1,
              '吾 輩 は': 1,
              '猫 で あ': 1,
              '輩 は 猫': 1})]
"""

Answer 2

最低限だと

    def get(self, text, ngram=None):
        seq = self.tagger.parse(text).split()

↓

    def get(self, seq, ngram=None):

で。