機械学習、データが大きすぎる？

Question

機械学習で6577 rows × 3572 columnsのデータフレームを扱っているのですが、以下のコードでトレーニングデータとテストデータに分けようとした際に以下のエラーを得ました。

features=data.iloc[:, 1:].values, labels=data.iloc[:, 0].values



---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-225-ab05d083b806> in <module>()
----> 1 features=data.iloc[:, 1:].values, labels=data.iloc[:, 0].values

ValueError: too many values to unpack (expected 2)

これはデータが大きすぎるということでしょうか？
また、どのように解消できるでしょうか？
よろしくお願いいたします。

Answer 1

a = b = 2

は有効です。名前aにもbにも値2が束縛されます。

---

a, b = 2, 3

は有効です。名前aに値2が、名前bに値3が束縛されます。

---

a = b, c = 2, 3

は有効です。名前bに値2が、名前cに値3が、名前aに値(2, 3)(2値タプル)が束縛されます。

---

class Foo(): pass
a = Foo()
a.hoge = 2

とするとa.hogeに値2が束縛されます。
したがって、

a.hoge, b = 2, 3

は有効です。a.hogeに値2が、名前bに値3が束縛されます。

---

質問の

features=data.iloc[:, 1:].values, labels=data.iloc[:, 0].values

は有効な代入文です。
data.iloc[:, 1:].valuesが代入可能な属性であって、最右辺data.iloc[:, 0].valuesが2つの値が取り出せるIterableの場合のみ実際に動きます。
仮に2つの値がX,Yだったとすると、

data.iloc[:, 1:].values = X
labels = Y
features = X, Y #2値タプル

という3つの代入文の複合になっている文です。

ですが、実際は最右辺が2つよりもっと多くの値が取り出せるIterableなのでtoo many values to unpackと言われたわけです。
たまたま2つの値が取り出せるIterableだったなら、valuesが代入可能でないというエラーになっていたでしょう。

Comments

[hayataka2049]

そういえばありましたね、そういう代入文・・・失念していました。私の回答も書き換えておきます

Answer 2

~~エラーメッセージから察するにデータが大きすぎる訳ではないんですが、うーんそもそも構文がおかしい。こういうのにはsyntax error吐いて欲しいところなんですが（;使ってる訳でもないのに一行で複数の代入文は書けないです、普通）。構文解析の優先順位がいたずらして、unpacking扱いにされたんでしょうか。
~~
これは代入文として有効なものでした。お詫びとともに訂正いたします。quiquiさんが回答してくださったので、そちらを御覧ください。

とりあえず、こう書けば良いんじゃないでしょうか。

features=data.iloc[:, 1:].values
labels=data.iloc[:, 0].values

Comments

[nouken]

なるほど、ありがとうございました！

Answer 3

[Python] iterableな要素をunpackするときに可変長引数が使える

unpackされた複数の値を単純に1つの変数dataに代入しようとすると、変数が足りないと怒られる。そこで可変長引数を使う。

が使えるでしょうか？

Comments

[nouken]

ありがとうございます！