csvファイルの形態素解析（分かち書き）

Question

ディレクトリ内にあるcsvファイルを形態素解析で分かち書きを行いたいです。
その際、形態素解析を行うcsvファイルに追記する形で保存したいのですが、方法を教えていただけないでしょうか。

csvの中身は1列目に文字列がならんでいます。
イメージとしては2列目に1列目の分かち書き（,で区切る）を入力できればと思います。

前提・実現したいこと

分かち書きを行うことはできるのですが、同一csvへの追記、保存の方法を教えていただきたいです。

該当のソースコード

import os
import glob
import csv
from janome.tokenizer import Tokenizer

t = Tokenizer(wakati=True)
path = "./input"
file_list = glob.glob(path + '/' + '*.csv')

for filename in file_list:
  with open(filename,encoding="cp932",errors="ignore") as f:
    reader=csv.reader(f)
    for columns in reader:
     for i in t.tokenize(columns[0]):
      print(i)
     print()
```ここに言語名を入力
ソースコード

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[yuokada]

ソースコードのインデントが壊れているのでまずはそこを修正したほうが回答が集まりますよ。

[退会済みユーザー]

ご指摘ありがとうございます。
インデントを修正しました。

Answer 1

こんな感じじゃないですかね。

入力ファイル

text
私はここにいる

出力ファイル

text,result
私はここにいる,私|は|ここ|に|いる

import csv
import glob

from janome.tokenizer import Tokenizer

t = Tokenizer()

def parser(text):
    result = t.tokenize(text)
    return "|".join(result)


t = Tokenizer(wakati=True)
path = "./input"
file_list = glob.glob(path + '/' + '*.csv')

for filename in file_list:
    with open(filename, "r+", encoding="cp932", errors="ignore") as f:
        reader = csv.DictReader(f, delimiter=',')

        texts = [dict(text=c["text"], result=parser(c["text"]) ) for c in reader]

        f.seek(0)

        fieldnames = ['text', 'result']
        writer = csv.DictWriter(f, fieldnames=fieldnames)

        writer.writeheader()
        for row in texts:
            writer.writerow(row)

イメージとしては2列目に1列目の分かち書き（,で区切る）を入力できればと思います。

分かち書きの結果を,で区切るとcsvとして再利用するのに不都合があると思いましたので|で区切るようにしてます。

また、読み込んだファイルに直接書き戻すのはその後の利用を考えるとあまり良くないと考えます。
別のファイルに出力されることを検討してみてください。

追記: 別ファイルに出力する場合のスクリプトです。

import csv
import glob

from janome.tokenizer import Tokenizer

t = Tokenizer()

def parser(text):
    result = t.tokenize(text)
    return "|".join(result)


t = Tokenizer(wakati=True)
path = "./input"
file_list = glob.glob(path + '/' + '*.csv')

for filename in file_list:
    with open(filename, "r+", encoding="utf-8", errors="ignore") as f:
        reader = csv.DictReader(f, delimiter=',')

        texts = [dict(text=c["text"], result=parser(c["text"]) ) for c in reader]

output = 'output.csv'
with open(output, 'w') as wf:
        fieldnames = ['text', 'result']
        writer = csv.DictWriter(wf, fieldnames=fieldnames)

        writer.writeheader()
        for row in texts:
            writer.writerow(row)

Comments

[退会済みユーザー]

ご回答ありがとうございます。
とりあえず、同ファイルで処理することができましたが、たしかに直接書き戻すのはよくなさそうですね。
元のデータはそのままで、別ディレクトリに別ファイルで保存しようと思うのですが、方法を教えていただけないでしょうか。
outputを指定してやってみてはいるものの、なかなかうまくいきません。

[yuokada]

回答を更新して別ファイルに出力する例を追加しました。

[退会済みユーザー]

お手数おかけしました。
ありがとうございました。