LDAモデルを構築する前に、CSVファイルを読み込んで、不必要な文字を除去した後に形態素解析をしたいと考えております。しかし、CSVファイルをすべて読み込めてはいますが、そのあとの不必要な文字の除去と形態素解析の作業が、CSVファイルの中にある一番最後の文章しか適応されません。ソースコードでの改善点をご指摘いただきたいです。
import sys
import os
sys.path.append(os.pardir)
import MeCab
from gensim import models,corpora
import pandas as pd
import os,csv,re
with open('F:\名前\ソースコード\事故原因+事故通知 - コピー.csv') as f:
reader = csv.reader(f)
for row in reader:
print(row)
def remove(row):
removeds = []
for text in row:
text = str(text)
text = re.sub('\n','',text)
text = re.sub('\u3000','',text)
removeds.append(text)
return removeds
removed_texts=remove(row)
print(removed_texts)
def mecab(removed_texts):
words = []
#引数に形態素解析を指定
tagger = MeCab.Tagger('-Owakati')
tagger.parse('')
for i in removed_texts:
removed_text=str(i)
node = tagger.parseToNode(removed_text)
keywords = []
while node:
if node.feature.split(",")[0] == "名詞":
keywords.append(node.surface)
node = node.next
words.append(keywords)
return words
wordslist = mecab(removed_texts)
print(wordslist)
あなたの回答
tips
プレビュー