Google Colaboratoryでファイルからデータ参照

Question

`Google Collaboratoryに関する質問です.
以下はirisというデータセットを用いて最近傍法(K-nn法)というデータ分類を行うプログラムです.
この際,肝心のirisデータセットはライブラリに付属している検証用のものなので特にファイルをインクルードしているわけではないです.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import cross_val_predict
from sklearn.model_selection import cross_val_score
from sklearn.metrics import confusion_matrix
 
iris = load_iris()
X = iris.data
y = iris.target
 
knn = KNeighborsClassifier(n_neighbors=3)
y_pred = cross_val_predict(knn, X, y, cv=10)
confusion_matrix(y, y_pred)

ここで質問なのですが,このプログラムをファイルからデータセットを読み込んで実行する形式に変更したいのですが,どうすればよいでしょうか? 下に自分が試したコードを記します.
これではエラーが出ます. どう修正すればよいでしょうか?

import numpy as np
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import cross_val_predict
from sklearn.model_selection import cross_val_score
from sklearn.metrics import confusion_matrix

with open('drive/My Drive/iris.txt', 'r', encoding='utf-8') as iris:

  X = iris.data
  y = iris.target
 
  knn = KNeighborsClassifier(n_neighbors=3)
  y_pred = cross_val_predict(knn, X, y, cv=10)
  confusion_matrix(y, y_pred)

AttributeError                            Traceback (most recent call last)
<ipython-input-12-10dee33ee058> in <module>()
      8 with open('drive/My Drive/iris.txt', 'r', encoding='utf-8') as iris:
      9 
---> 10   X = iris.data
     11   y = iris.target
     12 

AttributeError: '_io.TextIOWrapper' object has no attribute 'data'

5.1 3.5 1.4 0.2 1.0
4.9 3.0 1.4 0.2 1.0
4.7 3.2 1.3 0.2 1.0
4.6 3.1 1.5 0.2 1.0
5.0 3.6 1.4 0.2 1.0
5.4 3.9 1.7 0.4 1.0
4.6 3.4 1.4 0.3 1.0
5.0 3.4 1.5 0.2 1.0
4.4 2.9 1.4 0.2 1.0
4.9 3.1 1.5 0.1 1.0
5.4 3.7 1.5 0.2 1.0
4.8 3.4 1.6 0.2 1.0
4.8 3.0 1.4 0.1 1.0
4.3 3.0 1.1 0.1 1.0
5.8 4.0 1.2 0.2 1.0
5.7 4.4 1.5 0.4 1.0
5.4 3.9 1.3 0.4 1.0
5.1 3.5 1.4 0.3 1.0
5.7 3.8 1.7 0.3 1.0
5.1 3.8 1.5 0.3 1.0
5.4 3.4 1.7 0.2 1.0
5.1 3.7 1.5 0.4 1.0
4.6 3.6 1.0 0.2 1.0
5.1 3.3 1.7 0.5 1.0
4.8 3.4 1.9 0.2 1.0
5.0 3.0 1.6 0.2 1.0
5.0 3.4 1.6 0.4 1.0
5.2 3.5 1.5 0.2 1.0
5.2 3.4 1.4 0.2 1.0
4.7 3.2 1.6 0.2 1.0
4.8 3.1 1.6 0.2 1.0
5.4 3.4 1.5 0.4 1.0
5.2 4.1 1.5 0.1 1.0
5.5 4.2 1.4 0.2 1.0
4.9 3.1 1.5 0.2 1.0
5.0 3.2 1.2 0.2 1.0
5.5 3.5 1.3 0.2 1.0
4.9 3.6 1.4 0.1 1.0
4.4 3.0 1.3 0.2 1.0
5.1 3.4 1.5 0.2 1.0
5.0 3.5 1.3 0.3 1.0
4.5 2.3 1.3 0.3 1.0
4.4 3.2 1.3 0.2 1.0
5.0 3.5 1.6 0.6 1.0
5.1 3.8 1.9 0.4 1.0
4.8 3.0 1.4 0.3 1.0
5.1 3.8 1.6 0.2 1.0
4.6 3.2 1.4 0.2 1.0
5.3 3.7 1.5 0.2 1.0
5.0 3.3 1.4 0.2 1.0
7.0 3.2 4.7 1.4 2.0
6.4 3.2 4.5 1.5 2.0
6.9 3.1 4.9 1.5 2.0
5.5 2.3 4.0 1.3 2.0
6.5 2.8 4.6 1.5 2.0
5.7 2.8 4.5 1.3 2.0
6.3 3.3 4.7 1.6 2.0
4.9 2.4 3.3 1.0 2.0
6.6 2.9 4.6 1.3 2.0
5.2 2.7 3.9 1.4 2.0
5.0 2.0 3.5 1.0 2.0
5.9 3.0 4.2 1.5 2.0
6.0 2.2 4.0 1.0 2.0
6.1 2.9 4.7 1.4 2.0
5.6 2.9 3.6 1.3 2.0
6.7 3.1 4.5 1.4 2.0
4.6 3.0 4.5 1.5 2.0
5.8 2.7 4.1 1.0 2.0
6.2 2.2 4.5 1.5 2.0
5.6 2.5 3.9 1.1 2.0
5.9 3.2 4.8 1.8 2.0
6.1 2.8 4.0 1.3 2.0
6.3 2.5 4.9 1.5 2.0
6.1 2.8 4.7 1.2 2.0
6.4 2.9 4.3 1.3 2.0
6.6 3.0 4.9 1.4 2.0
6.8 2.8 4.8 1.4 2.0
6.7 3.0 5.0 1.7 2.0
6.0 2.9 4.5 1.5 2.0
5.7 2.6 3.5 1.0 2.0
5.5 2.4 3.8 1.1 2.0
5.5 2.4 3.7 1.0 2.0
5.8 2.7 3.9 1.2 2.0
6.0 2.7 5.1 1.6 2.0
5.4 3.0 4.5 1.5 2.0
6.0 3.4 4.5 1.6 2.0
6.7 3.1 4.7 1.5 2.0
6.3 2.3 4.4 1.3 2.0
5.6 3.0 4.1 1.3 2.0
5.5 2.5 4.0 1.3 2.0
5.5 2.6 4.4 1.2 2.0
6.1 3.0 4.6 1.4 2.0
5.8 2.6 4.0 1.2 2.0
5.0 2.3 3.3 1.0 2.0
5.6 2.7 4.2 1.3 2.0
5.7 3.0 4.2 1.2 2.0
5.7 2.9 4.2 1.3 2.0
6.2 2.9 4.3 1.3 2.0
5.1 2.5 3.0 1.1 2.0
5.7 2.8 4.1 1.3 2.0
6.3 3.3 6.0 2.5 3.0
5.8 2.7 5.1 1.9 3.0
7.1 3.0 5.9 2.1 3.0
6.3 2.9 5.6 1.8 3.0
6.5 3.0 5.8 2.2 3.0
7.6 3.0 6.6 2.1 3.0
4.9 2.5 4.5 1.7 3.0
7.3 2.9 6.3 1.8 3.0
6.7 2.5 5.8 1.8 3.0
7.2 3.6 6.1 2.5 3.0
6.5 3.2 5.1 2.0 3.0
6.4 2.7 5.3 1.9 3.0
6.8 3.0 5.5 2.1 3.0
5.7 2.5 5.0 2.0 3.0
5.8 2.8 5.1 2.4 3.0
6.4 3.2 5.3 2.3 3.0
6.5 3.0 5.5 1.8 3.0
7.7 3.8 6.7 2.2 3.0
7.7 2.6 6.9 2.3 3.0
6.0 2.2 5.0 1.5 3.0
6.9 3.2 5.7 2.3 3.0
5.6 2.8 4.9 2.0 3.0
7.7 2.8 6.7 2.0 3.0
6.3 2.7 4.9 1.8 3.0
6.7 3.3 5.7 2.1 3.0
7.2 3.2 6.0 1.8 3.0
6.2 2.8 4.8 1.8 3.0
6.1 3.0 4.9 1.8 3.0
6.4 2.8 5.6 2.1 3.0
7.2 3.0 5.8 1.6 3.0
7.4 2.8 6.1 1.9 3.0
7.9 3.8 6.4 2.0 3.0
6.4 2.8 5.6 2.2 3.0
6.3 2.8 5.1 1.5 3.0
6.1 2.6 5.6 1.4 3.0
7.7 3.0 6.1 2.3 3.0
6.3 3.4 5.6 2.4 3.0
6.4 3.1 5.5 1.8 3.0
6.0 3.0 4.8 1.8 3.0
6.9 3.1 5.4 2.1 3.0
6.7 3.1 5.6 2.4 3.0
6.9 3.1 5.1 2.3 3.0
5.8 2.7 5.1 1.9 3.0
6.8 3.2 5.9 2.3 3.0
6.7 3.3 5.7 2.5 3.0
6.7 3.0 5.2 2.3 3.0
6.3 2.5 5.0 1.9 3.0
6.5 3.0 5.2 2.0 3.0
6.2 3.4 5.4 2.3 3.0
5.0 3.0 5.1 1.8 3.0

Comments

[meg_]

テキストファイルからデータを読みだして学習データとラベルに分ける処理は自身で書かなければなりません。まずはテキストファイルからデータを読み込みましょう。

[yymmt]

iris.txtの内容を先頭5行程度で良いので示すことは可能でしょうか?よりよいアドバイスが貰えると思います。

[00_x9925]

iris.txtの中身を載せました
ちなみに左から順に,irisのがく片の長さ,がく片の幅,花弁の長さ,花弁の幅,品種(3種類)です

Answer 1

pandasを使うのが簡単です。

import pandas as pd

df = pd.read_csv('drive/My Drive/iris.txt', delim_whitespace=True, header=None)
X = df.iloc[:, 0:4]
y = df.iloc[:, 4]

Comments

[00_x9925]

X = df.iloc[:, 0:4]は要素0~要素4という意味ですよね?
では
y = df.iloc[:, 4]はどういう意味ですか?

またこれを,どう使って最初に記載したプログラムと同じ動作をさせることが出来ますか?

[yymmt]

> X = df.iloc[:, 0:4]は要素0~要素4という意味ですよね?
違います。0:4はスライスといいまして、要素0~要素3です。
> y = df.iloc[:, 4]はどういう意味ですか?
要素4のことです。

> またこれを,どう使って最初に記載したプログラムと同じ動作をさせることが出来ますか?
最初に記載されているソースコードの下記の部分を本コードに入れ替えるだけで動くと思います。
> iris = load_iris()
> X = iris.data
> y = iris.target

[00_x9925]

すいません,最初なぜかいけなかったんですが,
自分のバカみたいなミスでエラーが出てただけでした...w
無事いけました.
ありがとうございます!

[00_x9925]

ちなみにX = df.iloc[:, 0:4]の部分を変えることで,参照する要素数を減らそうとしたのですがなぜかできません.
どうすればいいかわかりますか?
例えばがく片の長さの列だけを参照して分類する,とかがやりたい時などです...
X = df.iloc[:, 0]じゃできませんでした.

[yymmt]

入力となる配列Xのshapeが違うためと思われます。
print(X.shape)としてみるとその違いが分かると思います。
X = df.iloc[:, 0:1]とすると上手くいくのではないでしょうか。
あるいは
強制的にpandasの列(Seriesと言います)をnumpyの配列(ndarray)に変換した上で、配列の形状を変えても良いと思います。
X = df.iloc[:, 0]
X = X.values.reshape(-1, 1)

[00_x9925]

なるほど
X = df.iloc[:, 0:1]でいいんですね...
ありがとうございました!