python DataFrameに拡張for文

Question

pythonで拡張for文を使用する際に

DataFrame型の変数から１つずつ取り出す際に先頭のcloumの文字列を取り出してしまって困っております

columやindexを無視して中の数字データだけを拡張for文で取得する方法はございますか？

Comments

[quickquip]

「拡張for文」とはなんでしょうか。「先頭のcloumの」とはなんでしょうか。「columやindexを無視して」とはなんでしょうか。現在のコードをここに書いてないのはなぜでしょうか。意味を解釈するのに回答者に負担を強いるだけです。

Answer 1

おそらく↓のページの中のいずれかが使いたい処理に該当するのでしょう。

pandas.DataFrameのforループ処理（イテレーション） | note.nkmk.me

Answer 2

Pandasは、データ分析用のライブラリーです。そのため、DataFrameは、データをcolumn単位で一次元行列で持っています。以下のように、DataFrameからforで 1 つずつ取り出すとcloumn名が取り出されます。

for d in df:
    print(d)

Pandasでは、for文を使うと処理速度が遅いので、通常ベクトル演算使います。もちろん、pandasでも以下のようにiterrows()メソッドを使うと、1行ずつデータを取得することができますが、処理が非常に遅いので普通に使うものではありません。

for d in df.iteritems():
    print(d)

もし、Pandas でfor文をどうしても使う必要がある場合は、速度を要求される場合は CythonやNumba等を使って処理をするようになります。処理速度である程度妥協できるのであれば、df.apply()を使うか、又は、column単位で取り出すことが容易なので、下のように必要なcolumnだけをzip関数でまとめてforでループにします。iterrows()を使うよりもかなり速いです。PandasでもSeriesの場合は、for文で各要素を取り出すことができます。

for a, b in zip(df['a'], df['b']):
    print(a, b)

拡張for文と言っているのでJavaかC++の世界を知っていると思われますが、本当にfor文が必要な処理であれば、Pandasを使うよりもJavaやC++の方が処理に遥かに向いています。

Comments

[hayataka2049]

>もし、Pandas でfor文をどうしても使う必要がある場合は、CythonやNumba等を使ってC/C++で処理をするようになります。
NumbaはJITコンパイラなのでC/C++には直接関係はありません。また、データがそれほど大きくなくて、許容できる速度で実行できるとき「妥協してループする（か、applyなどで処理する）」のはさほど珍しいことではないはずです。