tsvファイル中のテキストを編集して保存したい

Question

前提・実現したいこと

以下のようなtsvファイルのテキストに、関数で処理を行い保存したい。

#example.tsvの例
text　　　　 label
嬉しいいいい!!　1
楽しいいいい!!　1
悲しいいいい!!　2
悔しいいいい!!　2
・・・

該当のソースコード

プログラムはミスだらけですが、実現したいことの流れは以下の様になります。
1.tsv読み込み
2.テキストを編集
3.tsvで結果を保存

import pandas as pd
import csv

#tsv読み込み
f = open("example.tsv", 'r')
data = csv.reader(f, delimiter = '\t')

#テキスト編集
for row in data:
    row=clean_text(row)#文章から記号除去する関数
    row=reduce(row)#連続語を1語にする関数

f.close()

#tsv書き込み
f = open('example2.tsv','w',encoding='utf-8',newline='')
writer = csv.writer(f,delimiter='\t',lineterminator='\n')
writer.writerow(data)

f.close()

#連続語を1語にする関数
def reduce(text):
  result = re.sub(r'(\w)\1+',r'\1', text)
  return result
#!を除去する関数
def clean_text(text):
  result = re.sub(r'[!]', '', text)
  return result

###最終目的

#example2.tsvの例
text　　　　 label
嬉しい　　　　　1
楽しい　　　　　1
悲しい　　　　　2
悔しい　　　　　2

Comments

[y_waiwai]

提示のコードはどういう動作になるんでしょうか

[meg_]

> 以下のようなtsvファイルのテキストに、関数で処理を行い保存したい。
とありますが、現在の課題は何でしょうか？

Answer 1

提示されたコードの問題点は、

• dataの内容は処理したいtextの値そのものではなく、textとlabelのリストなので、clean_textとreduceを呼び出す前に、textを取り出す処理が必要。
• dataはクローズした時点で使えなくなるので、書き込みの際にdataを参照するとエラーになる。
• textを取り出して関数で処理しても、元のdataは変わらないので、書き込むデータのリストを別に作って、)writerowではなくwriterowsで書き込む。

といったあたり。

import csv
import re


def reduce(text):
    result = re.sub(r'(\w)\1+', r'\1', text)
    return result


def clean_text(text):
    result = re.sub(r'[!]', '', text)
    return result


result = []

with open("example.tsv", 'r', encoding='utf-8') as f:
    data = csv.reader(f, delimiter='\t')
    for row in data:
        row[0] = reduce(clean_text(row[0]))
        result.append(row)

print(result)

with open('example2.tsv', 'w', encoding='utf-8') as f:
    writer = csv.writer(f, delimiter='\t', lineterminator='\n')
    writer.writerows(result)

pandasを使って、textの列にmapでclean_textとreduceを適用し、結果をtextの列に設定したほうが楽かな。

import pandas as pd
import re


def reduce(text):
    result = re.sub(r'(\w)\1+', r'\1', text)
    return result


def clean_text(text):
    result = re.sub(r'[!]', '', text)
    return result


df = pd.read_table("example.tsv", encoding='utf-8')
# print(df)

df['text'] = df['text'].map(clean_text)
df['text'] = df['text'].map(reduce)
print(df)

df.to_csv("example2.tsv", sep='\t', index=None, encoding='utf-8')

Comments

[kotamu]

リストにすれば良かったのですね！
おかげで解決しました。ありがとうございました。