txtファイルを分割したい

Question

###前提・実現したいこと
iris_data.txtの中身を前半４つと最後の１つのファイルに分割したい。
分割後はcsvファイルに出力したいです。
一応、自分で書けたのですが冗長になったような気がしまして、よりきれいに書けるところがあれば教えてください。

【追記】
途中numpyに変えているのは気にしないでください。別に直さなくてもできて、消すのを忘れていただけです。

iris_data.txt
5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.7,3.2,1.3,0.2,Iris-setosa
4.6,3.1,1.5,0.2,Iris-setosa
5.0,3.6,1.4,0.2,Iris-setosa
5.4,3.9,1.7,0.4,Iris-setosa
4.6,3.4,1.4,0.3,Iris-setosa
5.0,3.4,1.5,0.2,Iris-setosa
4.4,2.9,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
...
...
..
5.0,2.3,3.3,1.0,Iris-versicolor
5.6,2.7,4.2,1.3,Iris-versicolor
5.7,3.0,4.2,1.2,Iris-versicolor
5.7,2.9,4.2,1.3,Iris-versicolor
6.2,2.9,4.3,1.3,Iris-versicolor
5.1,2.5,3.0,1.1,Iris-versicolor
5.7,2.8,4.1,1.3,Iris-versicolor

iris_data_train.csv
5.1,3.5,1.4,0.2
4.9,3.0,1.4,0.2
4.7,3.2,1.3,0.2
4.6,3.1,1.5,0.2
5.0,3.6,1.4,0.2
5.4,3.9,1.7,0.4
4.6,3.4,1.4,0.3
5.0,3.4,1.5,0.2
...
...
..

iris_target_train.csv
Iris-setosa
Iris-setosa
Iris-setosa
Iris-setosa
Iris-setosa
Iris-setosa
Iris-setosa
Iris-setosa
...
...
..

###該当のソースコード

import csv
import numpy as np

f = open('iris_data.txt')
list1=[] 
#list1=['5.1,3.5,1.4,0.2,Iris-setosa\n',...,'5.7,2.8,4.1,1.3,Iris-versicolor']
for row in f:
    list1.append(row)
f.close()
#print(list1)
#print(type(list[0]))
#print(list)
list2=[]
#list2=list1から改行コード除去
for line in list1:
    line1 = line.replace('\n','')
    list2.append(line1)
list3=[data.split(',')for data in list2] 
#list3=[['5.1', '3.5', '1.4', '0.2', 'Iris-setosa'],...,['5.7', '2.8', '4.1', '1.3', 'Iris-versicolor']]
#print (type(list3[0][0]))

list4=[[[a,b,c,d],[e]] for a,b,c,d,e in list3]
data_list,target_list=[data for data,target in list4],[target for data,target in list4]

#print(data_list)
#print(target_list)

numpy1=np.array(data_list)
numpy2=numpy1.astype(np.float64)
print(numpy2)

f = open('iris_data_train.csv', 'w', newline='')
csvWriter = csv.writer(f) 
[csvWriter.writerow(a) for a in data_list]
f.close()

f = open('iris_target_train.csv', 'w', newline='')
csvWriter = csv.writer(f)
[csvWriter.writerow(a) for a in target_list]
f.close()

Comments

[退会済みユーザー]

要するに、数字部分と文字部分を分ければ良いのですか？

[momochi]

その通りです

Answer 1

pandasを使っていいなら。
やりたいことは irisデータセットを特微とラベルに分割したいんですよね？

# -*- coding: utf-8 -*-
import pandas as pd


def main():
    df = pd.read_csv('iris_data.txt', header=None)
    df.to_csv('iris_data_train.csv', header=False, index=False, columns=range(0, 4))
    df.to_csv('iris_target_train.csv', header=False, index=False, columns=range(4, 5))

if __name__ == '__main__':
    main()

■参考情報
pandas.read_csv
pandas.to_csv

Comments

[momochi]

pandsは本などで見かけた事があったのですが、そんな便利なことがてきるのですね！
勉強してみます

Answer 2

シェル芸になってしまいますが回答します。結論から言えば以下のコマンドで実現可能です。

cat iris_data.txt|cut -c 1-15 > iris_data_train.csv
cat iris_data.txt|cut -c 17- > iris_target_train.csv

一応解説をしますと、まずcatコマンドでiris_data.txtを出力して、cutコマンドで1〜15文字目を出力しています。さらにそれをリダイレクトでファイルに保存しています。
二行目も同じく、17文字目から最後までを出力しています。

あくまでこれは即席であり文字数にも依存しているので、よければシェル芸を勉強してこれから役立てていってみてください。

Comments

[momochi]

シェルも便利ですね！
ありがとうございます

[退会済みユーザー]

b

Answer 3

お邪魔します。

読みにくくてあんまり良いプログラムではないですが、参考までに。
for文に渡しているジェネレータ内包表記のネストは分けたほうが良かったかもです。

list1 = []
with open('iris_data.txt') as f:
    list1 = f.readlines()

with open('iris_data_train.csv', 'w') as f1, open('iris_target_train.csv', 'w') as f2:
    for before, after in ((col[:4], col[4]) for col in (line.strip().split(',') for line in list1)):
        f1.write(",".join(before) + "\n")
        f2.write(after + "\n")