テキストファイルから２列のcsvファイルを生成する方法

Question

前提

Pythonにおいて、カンマで区切られたテキストファイルから、２列のcsvファイルを生成しようとしていますが、１列のcsvファイルになってしまいます。

実現したいこと

以下の手順で、２列のcsvファイルを生成したいと思います。
①カンマで区切られたテキストファイルを読み込む。
②余計な文字を取り除き、配列にテキストファイルを加える。
③配列をそのままcsvファイルに変換してしまうと、１文字ずつの挿入になってしまうので、二次元配列に入れる。
④ ③をsklearnのtrain_test_splitで、データを分割（最終的に機械学習用のデータとして使用するため）し、出力。

しかし、出力されたcsvの先頭と末尾にダブルクォーテーションがついているためなのか、１列のcsvになってしまいます。

発生している問題・エラーメッセージ

出力されたcsvは以下のようになります。(列が長くなるため、テストデータのみ記載)
１列のcsvファイルになってしまいます。
# cli_test.csv
"静岡と言ったらお茶,3"
"インフルエンザの予防接種を受けた。,2"
"ハワイは日本人が多い,5"
"お風呂に入る。,4"
"睡眠はきちんととった。,4"

該当のソースコード

# coding: shift_jis

import csv
import numpy as np
from sklearn.model_selection import train_test_split

sentences = []

with open('test_data.txt') as f:
    sample_txt = f.readlines()

for s in sample_txt:
    text = s.translate(str.maketrans({"\u3000":"","\n":""})) 
    sentences.append(text)

# 二次元は配列に入れないと、csvファイルに出力するとき、各セルに一文字ずつ出力されてしまう。
sentences_column = len(sentences)
new_sentence = np.array(sentences).reshape(sentences_column,1)

# sklearnのtrain_test_splitで、データを分割
news_train, news_test =  train_test_split(new_sentence, shuffle=True)  # 訓練用とテスト用に分割
# 何も指定していない場合は、25％がテストデータ
news_path = "./test_data/"
# csvファイルを保存するパス

with open(news_path+"cli_train.csv", "w" ,encoding="utf-8" ,newline='') as f:
    writer = csv.writer(f)
    writer.writerows(news_train)
    # 訓練データを"news_train.csv"に保存

with open(news_path+"cli_test.csv", "w" ,encoding="utf-8",newline='') as f:
    writer = csv.writer(f)
    writer.writerows(news_test)
    # テストデータを"news_test.csv"に保存

#test_data.txt
カレーを食べた。,1
インフルエンザの予防接種を受けた。,2
あなたに渡す。,3
お風呂に入る。,4
太郎の靴だ,5
ビタミン剤を買う,1
川で泳ぐ,1
阿蘇山が噴火した。,3
チョコレートとクッキーだ,5
人気者の姉,5
ハワイは日本人が多い,5
新型の携帯電話を買う,2
お酒が好きだ。,2
トムの妹はサリーだ。,2
静岡と言ったらお茶,3
飛行機で九州に行く。,3
睡眠はきちんととった。,4
数学が得意だ,1
半角 スペース,1
全角　スペース,2

ここにより詳細な情報を記載してください。

Answer 1

そもそもsentencesが二次元配列になっていないようなので、
text = s.translate(str.maketrans({"\u3000":"","\n":""}))
→text = s.translate(str.maketrans({"\u3000":"","\n":""})) .split(",")
としてみてはいかがですか。

あるいは、

with open('test_data.txt') as f:
    sample_txt = f.readlines()

for s in sample_txt:
    text = s.translate(str.maketrans({"\u3000":"","\n":""})) 
    sentences.append(text)

のところを

with open('test_data.txt') as f:
    reader = csv.reader(f)
    sentences = list()
    for row in reader:
        row[0] = row[0].replace("\u3000", "")
        sentences.append(row)

としてしまうか。

Comments

[green2021]

返信ありがとうございます。

with open('test_data.txt') as f:
reader = csv.reader(f)
sentences = list()
for row in reader:
row[0] = row[0].replace("\u3000", "")
sentences.append(row)

上記の、コードを実装してみたら、「ValueError: cannot reshape array of size 40 into shape (20,1)」と
出力されました。

また、
text = s.translate(str.maketrans({"\u3000":"","\n":""})) .split(",")

上記を実装してみても、同様のエラーが出ます。

ご確認よろしくお願い致します。

[jeanbiego]

# 二次元は配列に入れないと、csvファイルに出力するとき、各セルに一文字ずつ出力されてしまう。
sentences_column = len(sentences)
new_sentence = np.array(sentences).reshape(sentences_column,1)

# sklearnのtrain_test_splitで、データを分割
news_train, news_test = train_test_split(new_sentence, shuffle=True) # 訓練用とテスト用に分割

上記は、20×2の二次元配列を無理やり20×1にしようとしてますね。
下記のようにリストをそのまま入れるだけで良いかと。
news_train, news_test = train_test_split(sentences, shuffle=True) # 訓練用とテスト用に分割

[jeanbiego]

つまりは目的と違う形（1次元）だからこそ動作していたコードになっていました。
途中途中で変数の形が設計通りかどうか、確認した方が良いですよ。

[green2021]

わざわざ、丁寧な返信も頂きありがとうございます。
無事に目的を果たせました。