質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.52%

  • Python 3.x

    6370questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • pandas

    580questions

    Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Python pandasでの効率的な書き方

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 120

urakids

score 4

 前提・実現したいこと

csvで
////////////////////////////////////////////////
1021,2018/07/23 10:05:10,2018/07/23 11:00:10
2352,2018/07/23 10:10:32,2018/07/23 11:12:00
9118,2018/07/23 11:34:55,2018/07/23 15:06:10
5231,2018/07/23 12:33:22,2018/07/23 13:00:10



6448,2018/07/23 17:30:00,2018/07/23 18:54:54
////////////////////////////////////////////////
の様なデータがあり、
前から、ID,入室時間、退出時間となっています。
このデータから5分単位の利用者数を出したいと
下記のプログラムを書いたのですが
利用者数が増えるとかなり処理に時間がかかります。
下記の書き方より早い処理方法等があれば
ご教授いただければと思います、

よろしくお願いいたします。

#CSVの読み込み
df = pd.read_csv("riyou.csv", names=('id', 'stat', 'end'))
#5分単位の利用者数格納配列
times = [];
#開始時間
start = datetime.datetime.strptime('2018/07/23 10:00:00', '%Y/%m/%d %H:%M:%S')
#終了チェック時間
end_chk = datetime.datetime.strptime('2018/07/23 19:00:00', '%Y/%m/%d %H:%M:%S')
#チェック単位
chk_min = 5
wile True:
    end = start + datetime.timedelta(minutes=chk_min)
    df2 = df[(df["start"].apply(lambda x:x.time()) <= start.time()) & (df["end"].apply(lambda y:y.time()) >= end.time())]
    times.append(str(start) + ',' + str(len(df2.index)))
    start = end;
    if start >= end_chk:
        break;

#CSVの書き出し
fp = open('time.csv', 'w')
    for x in times:
        fp.write(str(x) + "\n")
    fp.close()

 補足情報(FW/ツールのバージョンなど)

Pythoは3.6でWindowsを使用しています。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+3

質問に挙げられておりますソースコードはかなり冗長でしたので修正してみました。
これである程度の速度はでるのではないでしょうか。

import pandas as pd
import datetime

#CSVの読み込み
df = pd.read_csv("riyou.csv", names=('id', 'start', 'end'), parse_dates=['start', 'end'])


offset = datetime.timedelta(minutes=5)
df2 = pd.DataFrame(
    {'count': 0},
    index=pd.date_range('2018/07/23 10:00:00', '2018/07/23 19:00:00', freq=offset))
for idx, row in df2.iterrows():
    start = idx
    end = start + offset
    df2.at[idx,'count'] = ((df.start <= start) & (df.end >= end)).sum()

df2.to_csv('time_a.csv', header=None)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/07/24 11:05

    magichanさん

    ご返答ありがとうございます。
    こちらのソースに変更したところ、
    今まで3時間ほど掛かっていた処理が2分ほどで終了してしまいました・・・
    これほどまで速くなるとは驚きです!!
    まだまだ勉強不足だなと実感されされました。
    ありがとうございました!!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.52%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python 3.x

    6370questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • pandas

    580questions

    Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。