質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

0回答

726閲覧

pandasのdataframe処理を高速化したい

tqtwyw

総合スコア0

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2020/07/25 05:31

以下のようなデータフレームが100万レコードほどあったとします。
(実際のデータフレームはカラム25個、レコード数92万レコード)

idvalue1value2
123423
123524
234534
234635
234736
223423
323524
334534
334635
445645
.........

上記のようなデータフレームがあり、各idごとに抜き出してforで処理をしていましたが、
流石に遅くなりました。
df[df.id == 1]
df[df.id == 2]
...

高速処理をしたいのですが、
どのようなコードで高速処理可能がご教授いただけると幸いです。
サンプルコードなどありましたら、いただきたいです。

よろしくお願い致します。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

tqtwyw

2020/07/25 05:50

ご回答ありがとうございます。 各idごとにgroup byして計算処理をしたいのではなく、 ある条件で配列を作成したり、値を取得したりして、 それをidごとにjsonに変換する処理をしていきたいです。 データフレームには値もありますが、ほとんどが文字列です。 その配列を作成したり、値を取得したりする箇所ではmap関数、apply関数を用いてそこそこ高速化できたのですが、 そもそものidごとに回す箇所がforを使っており、そのforをもっと高速化したいというのが狙いです。
tiitoi

2020/07/25 06:05

処理に時間がかかっているのは `df[df.id == 1]` のように指定 ID を抽出する部分なのは、処理時間を計測するなどして確定しているのでしょうか?他の部分の処理に時間がかかっている可能性はないのでしょうか?
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問