MeCabで改行を残したまま分かち書きしたい

Question

前提

下記のサイトを参考にMeCabを使用してテキストファイルを分かち書きし、マルコフ連鎖で文章を生成しようとしています。

テキストファイルには数文字から数十文字程度の短い文章が5万行程入っています。
MeCabで分かち書きすると改行を残したいのに、改行が消えてしまいます。

どのようにすれば改行を残せるのか調べたのですが方法がわかりません。

どのようにすれば改行を残したままにできるのでしょうか？
ご教授いただければ幸いです。宜しくお願い致します。

［文章生成］MeCabをインストールして分かち書きを試してみよう

実現したいこと

• MeCabでテキストファイルを改行を残したまま分かち書きしたい。

発生している問題・エラーメッセージ

• 分かち書きすると改行が消えてしまう。

該当のソースコード

import MeCab
import unidic
import markovify

f = open("テスト.txt", "r", encoding="utf-8")
s = f.read()           # ファイルの内容をすべて文字列に読み込む

print(s)               # ファイルの内容を表示する # 改行されている

wakati = MeCab.Tagger ("-Owakati")

result = wakati.parse(s)

print(result)　 # 改行されていない

# txt_model = markovify.NewlineText(result)

Answer 1

できません。
parseに渡すことができるのはひとつの文です。
そこに含まれる改行文字(LF U+000Aの文字)は空白文字と見なされ、形態素を明に区切るための記号の扱いになります。(つまり空白で区切るのと同じ意味/効果を持ちます)

>>> import MeCab
>>> t = MeCab.Tagger ()
>>> print(t.parse('わたしです'))
わたし	名詞,代名詞,一般,*,*,*,わたし,ワタシ,ワタシ
です	助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
EOS

>>> print(t.parse('わた しです'))
わた	動詞,自立,*,*,五段・ラ行,体言接続特殊２,わたる,ワタ,ワタ
し	動詞,自立,*,*,サ変・スル,未然形,する,シ,シ
です	助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
EOS

>>> print(t.parse('わた\nしです'))
わた	動詞,自立,*,*,五段・ラ行,体言接続特殊２,わたる,ワタ,ワタ
し	動詞,自立,*,*,サ変・スル,未然形,する,シ,シ
です	助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
EOS

Comments

[ebisan]

quickquip様回答ありがとうございます。
ひとつの文しか渡せないのですね。

Answer 2

ファイルを全部読み込んでMeCabにかけるのでなく、1行ずつ読み込んMeCabに渡せばいいでしょう。

Comments

[ebisan]

TakaiY様回答ありがとうございます。
1行ずつ読み込めばよかったのですね。