train_test_splitでファイルを分割する

Question

train_test_splitを使用してデータの分割を行いたいと思っています
分割したいcsvファイルは以下のようになっています

import pandas as pd
data1 = pd.read_csv('5_.csv',skiprows=0)
print(data1)

     data  Unnamed: 1  Unnamed: 2  ...  Unnamed: 118  Unnamed: 119  target

0 0.352351 0.223702 0.582668 ... 0.720437 0.724973 1
1 0.662130 0.701906 0.265684 ... 0.827730 0.807093 1
2 0.810364 0.663995 0.625437 ... 0.898917 0.870392 1
3 0.278286 0.101823 0.286376 ... 0.682228 0.832755 1
4 0.496985 0.275225 0.171111 ... 0.796856 0.681004 1
5 0.550693 0.489981 0.110852 ... 0.721267 0.673094 1
6 0.525964 0.447148 0.678003 ... 0.950009 0.970813 1
7 0.358345 0.278943 0.740259 ... 0.892296 0.914810 1
8 0.810364 0.340384 0.145936 ... 0.804059 0.708009 1
9 0.684504 0.409780 0.179156 ... 0.907990 0.682829 1
10 0.810364 0.759558 0.154604 ... 0.863567 0.644924 1
11 0.290677 0.238224 0.771071 ... 0.913141 0.708600 1
12 0.742833 0.776451 0.796681 ... 0.904534 0.922136 1
13 0.706851 0.662129 0.254525 ... 0.696385 1.000000 1
14 0.726719 0.319115 0.343095 ... 0.690085 0.950619 1
15 0.239242 0.221364 0.312398 ... 0.867509 0.669446 1
16 0.592810 0.779532 0.781532 ... 0.741755 0.650326 1
17 0.530921 0.509284 0.276070 ... 0.739114 0.758274 1
18 0.810364 0.844242 0.706396 ... 0.957791 0.766396 1
19 0.424037 0.113312 0.560475 ... 0.692535 0.844013 1
20 0.675619 0.643163 0.559289 ... 0.883299 0.789717 1
21 0.810364 0.665560 0.401473 ... 0.907005 0.716895 1
22 0.688857 0.282334 0.650026 ... 0.713672 0.779590 1
23 0.659571 0.594655 0.314845 ... 0.810804 0.675471 1
24 0.723379 0.389270 0.362465 ... 0.918475 1.000000 1
25 0.203751 0.781678 0.193002 ... 0.631581 0.832087 1
26 0.585607 0.539413 0.489038 ... 0.751444 0.653268 1
27 0.151338 0.073058 0.176027 ... 0.766838 1.000000 1
28 0.718180 0.238443 0.748103 ... 0.827842 0.861828 1
29 0.810364 0.766333 0.727854 ... 0.938712 0.721794 1
.. ... ... ... ... ... ... ...
470 0.511998 0.534842 0.561635 ... 0.172213 0.171469 5
471 0.641380 0.655308 0.646919 ... 0.170326 0.180079 5
472 0.439567 0.456535 0.458712 ... 0.153114 0.165118 5
473 0.451120 0.479111 0.506129 ... 0.178415 0.188961 5
474 0.466229 0.502343 0.501233 ... 0.183696 0.194903 5
475 0.454428 0.470534 0.501561 ... 0.165654 0.179373 5
476 0.389550 0.417669 0.423059 ... 0.230544 0.243753 5
477 0.429378 0.440002 0.445757 ... 0.193928 0.210071 5
478 0.578306 0.589111 0.601819 ... 0.186131 0.192955 5
479 0.579885 0.608983 0.624683 ... 0.193068 0.212669 5
480 0.616620 0.651790 0.672743 ... 0.145515 0.153915 5
481 0.574390 0.583997 0.602215 ... 0.161826 0.176403 5
482 0.556213 0.565326 0.573620 ... 0.132256 0.137979 5
483 0.617370 0.633556 0.621387 ... 0.144630 0.155809 5
484 0.596726 0.623499 0.612993 ... 0.183806 0.187539 5
485 0.608775 0.648232 0.621309 ... 0.146168 0.154696 5
486 0.390877 0.414725 0.402356 ... 0.178128 0.189794 5
487 0.388314 0.405561 0.412710 ... 0.184360 0.193528 5
488 0.441551 0.462633 0.492162 ... 0.147842 0.156188 5
489 0.352333 0.350747 0.358585 ... 0.149967 0.170842 5
490 0.468546 0.486343 0.462691 ... 0.200827 0.220350 5
491 0.468995 0.515613 0.515581 ... 0.161046 0.180675 5
492 0.408340 0.421820 0.444335 ... 0.180105 0.188390 5
493 0.389183 0.403021 0.426281 ... 0.196858 0.205071 5
494 0.386778 0.382410 0.393307 ... 0.176797 0.192083 5
495 0.386810 0.389760 0.405060 ... 0.187873 0.212853 5
496 0.476147 0.502862 0.511475 ... 0.162500 0.181441 5
497 0.364162 0.381068 0.391694 ... 0.135909 0.153288 5
498 0.377070 0.386710 0.419285 ... 0.200232 0.214768 5
499 0.397319 0.415984 0.411188 ... 0.167429 0.190396 5

[500 rows x 121 columns]
1行ごとに120ポイントのデータ＋正解ラベル

分からない点

(X_train, X_test,y_train, y_test) = train_test_split('第一引数', '第二引数',test_size=0.2, random_state=0)

第一引数、第二引数には何を指定するのでしょうか？
第一引数: 特徴行列 X
第二引数: 目的変数 y
ということでしょうか？

Answer 1

train_test_split() は入力に１つ以上の同じ長さの配列やリスト・DataFrame等を入力すると、それぞれの配列やリストを順番の整合がとれるように２つに分割するだけの関数です。

下のサンプルは長さ10の３つのリストを入力した例です。

from sklearn.model_selection import train_test_split

# ３つの同サイズのリストを渡してみる
a1,a2,b1,b2,c1,c2 = train_test_split(
    [1,2,3,4,5,6,7,8,9,10],
    [11,12,13,14,15,16,17,18,19,20],
    [21,22,23,24,25,26,27,28,29,30],
    test_size=0.2)
print(a1)
#[5, 10, 2, 7, 8, 4, 1, 6]
print(a2)
#[3, 9]
print(b1)
#[15, 20, 12, 17, 18, 14, 11, 16]
print(b2)
#[13, 19]
print(c1)
#[25, 30, 22, 27, 28, 24, 21, 26]
print(c2)
#[23, 29]

ということで第一引数、第二引数に何を渡さなければならないという決まりは特にありません。

今回の場合

方法１
data1をそのまま train_test_split() に入れ、戻り値として得られた２つに分割されたDataFrameそれぞれから特徴行列Xと目的変数yを分割する

train_df, test_df = train_test_split(data1, test_size=0.2)
X_train = train_df.iloc[:, :-1]
y_train = train_df.iloc[:, -1]
X_test = test_df.iloc[:, :-1]
y_test = test_df.iloc[:, -1]

方法２
data1を特徴行列Xと目的変数yを分割し、２つのデータをそのまま train_test_split() に入れる。

X = data1.iloc[:, :-1]
y = data1.iloc[:, -1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

の好きな方でよいのではないでしょうか

Comments

[origami_]

解決することができました
丁寧な説明ありがとうございます