ディレクトリ内のテキストファイルを入力に

Question

###やりたいこと
タイトルにもある通りなのですが、python3で作成したプログラムの入力に
作業ディレクトリ内にある、テキストファイルを複数保存したフォルダを使いたいと
思っています。
以下に記すプログラムでは入力として、作業ディレクトリ内の１つのテキストファイルを指定するようになっています。
現在実装中のプログラムをどのように修正すれば良いのかを教えていただきたいです。
###実装中のプログラム

# -*- coding: utf-8 -*-

import time
import MeCab
from gensim import corpora, models, similarities
from xlwt import Workbook

#ファイル指定
doc = input('select file(ex, ○○.txt):')
t0 = time.time()
f = open(doc, "r",encoding = "utf-8")
text = f.read()
f.close()

#文字列を改行位置で区切って分割する（形態素解析）
m = MeCab.Tagger ("-Ochasen")
chunks = m.parse(text).splitlines()

#絞り結果を格納
sels = []

#絞り込み
for chunk in chunks:
    #chunk:形態素解析結果（１行の文字列）
    #タブ(\t)で区切り、文字列リストを作成
    cols = chunk.split('\t')
    if len(cols) >= 4:
        #parts[0]:品詞の種類
        parts = cols[3].split('-')
        #指定した品詞で始まっている場合　→　真
        if parts[0].startswith('名詞') or parts[0].startswith('動詞'):
            #要素(形態素)を追加
            #sels:要素(形態素)のみの行列
            sels.append(chunk[0])

#辞書作成
dictionary = corpora.Dictionary([sels])
"""
#単語の出現回数が１以下を除く
dictionary.filter_extremes(no_below = 1)
"""

#[辞書の単語数]次元のベクトルに変換(コーパス作成)
corpus = [dictionary.doc2bow(sels) for sel in sels]

t1 = time.time()
#LDAモデルに投入
lda = models.LdaModel(corpus = corpus, id2word = dictionary,
                      #トピック数:20
                      num_topics = 20)
t2 = time.time()
print(lda)


#各トピックにおける各トークンの出現確率を係数で表示
for topic in lda.show_topics(-1):
    print(topic)

"""
#文書の推定トピック番号 , 推定の確信度を表示
for topics_per_document in lda[corpus]:
    print(topics_per_document)
"""

lda_time = t2 -t1
print('LDAモデル生成時間：%f秒'%lda_time)

total_time = t2 - t0
print('合計時間：%f秒'%total_time)

汚いコードで申し訳ありません。

Answer 1

このようにすれば、指定ディレクトリ直下のtxtファイルを取得できます。

import os
import glob

input_dir = input('select directory: ')
txt_list = glob.glob(input_dir + os.sep + '*.txt')

texts = []
for file in txt_list:
    with open(file, 'r', encoding='utf-8') as f:
        texts.append(f.read())

Comments

[aoisj]

アドバイスありがとうございます。
教えていただいたように修正し、
実行してみたのですが、以下のエラーが出てしまいました。

NotImplementedError: Wrong number or type of arguments for overloaded function 'Tagger_parse'.
Possible C/C++ prototypes are:
MeCab::Tagger::parse(MeCab::Model const &,MeCab::Lattice *)
MeCab::Tagger::parse(MeCab::Lattice *) const
MeCab::Tagger::parse(char const *)

「引数が間違っている」というエラーが出ていると思ったのですが、原因が分かりません。
追加でアドバイスをいただきたいです。

以下にいただいたアドバイスを元に修正した部分を記します。

import time
import os
import glob
import MeCab
from gensim import corpora, models, similarities
from xlwt import Workbook

#ディレクトリ指定
input_dir = input('select directory:')
t0 = time.time()
txt_list = glob.glob(input_dir + os.sep + '*.txt')

texts = []

for file in txt_list:
with open(file, 'r', encoding='utf-8') as f:
texts.append(f.read())

f.close()

#文字列を改行位置で区切って分割する（形態素解析）
m = MeCab.Tagger ("-Ochasen")
chunks = m.parse(texts).splitlines()

#絞り結果を格納
sels = []

#絞り込み
for chunk in chunks:
#chunk:形態素解析結果（１行の文字列）
#タブ(\t)で区切り、文字列リストを作成
cols = chunk.split('\t')
if len(cols) >= 4:
#parts[0]:品詞の種類
parts = cols[3].split('-')
#指定した品詞で始まっている場合　→　真
if parts[0].startswith('名詞') or parts[0].startswith('動詞'):
#要素(形態素)を追加
#sels:要素(形態素)のみの行列
sels.append(chunk[0])

[LouiS0616]

textsがリストだからかと思います。
全てのファイルをごちゃまぜにしていいのなら、次のように書いてもいいでしょう。
texts = ''
for file in txt_list:
....with open(file, 'r', encoding='utf-8') as f:
........texts += f.read()

[aoisj]

アドバイスありがとうございます。
このように変更することでtexts内に、
指定したディレクトリ内の.txtファイルの内容がすべて入るということでよろしいでしょうか？

現在、修正版で実行してみているところなのですが、
最終的にはディレクトリ内の全てのファイルにトピック（ジャンル）のタグ付けをして、
どのようなトピックに分かれたのかを確認できるようにしたいです。

知識がないのでおかしな質問になってしまうかもしれないのですが、
リスト（ｔｅｘｔｓ）を入力にしたまま実行する方法があれば教えていただきたいです。

[LouiS0616]

> このように変更することで...
print(texts)すればすぐ確認できるかと思います。

> 知識がないのでおかしな質問になってしまうかもしれないのですが...
私は言語系は専門外の素人です。
誤ったアドバイスをしてしまう恐れがあるので、方針は他の人に相談した方がいいです。

[LouiS0616]

まあ、リスト内の要素にアクセスしたいのであれば単にfor文を使えばいいのですが。
可読性は落ちますが、ネストしてしまうのが最も簡単です。
出来れば1ファイルに対する処理を関数にしたいところですね。