Pythonのデータフレームについて質問があります。

Question

Pythonのデータフレームについて質問があります。
Pandasのコラムに正の整数が入っています。

このコラムから10,10,10,...,10,12,12.....,12,13....13と連続している数字を抽出したいです。
10,12,13の並びになっていてかつ10,12,13はどれくらい連続しているか分からないです。
抽出数字にidの番号を振りたいです。

また、可能であればなるべくifやfor文を使わずに高速な処理が出来れば理想です。
下記のようなデータフレームを作りたいです。

num　　 id
10
:
12　　　 1
:
13

10　　　
: 　　　　2
13

キーワード
プログラミング Python Pandas Numpy Jupyter

Answer 1

作ってみました。
あんまり洗練されてなくてごちゃごちゃしてますが、遅くはないはずです……。

import numpy as np
import pandas as pd

def function(a, v):
    v_size = v.size

    cut_index, = np.r_[True, a[1:] != a[:-1], True].nonzero()
    short_a = a[cut_index[:-1]]
    slide_index = np.arange(short_a.size-v_size+1)[:, None] + np.arange(v_size)
    match = (short_a[slide_index] == v).all(1)
    all_match = np.convolve(match, np.ones(v_size, dtype=int))
    index, = np.repeat(all_match, np.ediff1d(cut_index)).nonzero()

    result_array = a[index]
    result_index = np.isin(index, cut_index[match.nonzero()[0]]).cumsum()

    return pd.DataFrame({'num': result_array, 'id': result_index})

第一引数には対象のシリーズをnumpy配列に変換したものを、
第二引数にはnp.array([10, 12, 13])を渡してください。
たとえば、

s = pd.Series([10, 10, 10, 12, 13, 13, 0, 0, 10, 12, 13, 10, 12, 10, 12, 13, 13])
#             [10, 10, 10, 12, 13, 13,       10, 12, 13,       , 10, 12, 13, 13]
v = np.array([10, 12, 13])

function(s.to_numpy(), v)
#     num  id
# 0    10   1
# 1    10   1
# 2    10   1
# 3    12   1
# 4    13   1
# 5    13   1
# 6    10   2
# 7    12   2
# 8    13   2
# 9    10   3
# 10   12   3
# 11   13   3
# 12   13   3

挙動の解説

1. 同じ値が連続する部分の除外

「10,12,13はどれくらい連続しているか分からない」ということなので、同じ数が連続する部分をひとまとめにします。これは、インデックスを一つずらした配列と比較することで取得できます。

cut_index, = np.r_[True, a[1:] != a[:-1], True].nonzero()
short_a = a[cut_index[:-1]]

"""
a               : [10, 10, 10, 12, 13, 13,  0,  0, 10, 12, 13, 10, 12, 10, 12, 13, 13]

a[1:]           :  10 [10, 10, 12, 13, 13,  0,  0, 10, 12, 13, 10, 12, 10, 12, 13, 13]
a[:-1]          :     [10, 10, 10, 12, 13, 13,  0,  0, 10, 12, 13, 10, 12, 10, 12, 13] 13
a[1:] != a[:-1] :     [ F,  F,  T,  T,  F,  T,  F,  T,  T,  T,  T,  T,  T,  T,  T,  F]
(concatenate)   : [ T,  F,  F,  T,  T,  F,  T,  F,  T,  T,  T,  T,  T,  T,  T,  T,  F,  T]

cut_index       : [ 0,          3,  4,      6,      8,  9, 10, 11, 12, 13, 14, 15,     17]
short_a         : [10,         12, 13,      0,     10, 12, 13, 10, 12, 10, 12, 13,   ]
"""

2. 一致箇所の検索

前節で作成した配列short_aから、10,12,13のまとまりを探します。
そのためにまず、short_aを3つずつ区切るためのインデックスを作成します。

slide_index = np.arange(short_a.size-v_size+1)[:, None] + np.arange(v_size)
print(slide_index)
# [[ 0  1  2]
#  [ 1  2  3]
#  [ 2  3  4]
#  ...
#  [ 7  8  9]
#  [ 8  9 10]
#  [ 9 10 11]]

vと比較することで、10,12,13と一致する箇所を探します。

match = (short_a[slide_index] == v).all(1)

"""
slide_a : [[10, 12, 13], [12, 13,  0], [13,  0, 10], [ 0, 10, 12], [10, 12, 13], ...]
v       : [[10, 12, 13], [     >    ], [     >    ], [     >    ], [     >    ], ...]
match   : [        True,        False,        False,        False,         True, ...]
"""

matchで得られたTrueは、10,12,13の10の位置のみなので、np.convolve()を利用して10,12,13の位置がTrueになるようにします。

all_match = np.convolve(match, np.ones(v_size, dtype=int))

"""
short_a   : [10, 12, 13,  0, 10, 12, 13, 10, 12, 10, 12, 13]
match     : [ T,  F,  F,  F,  T,  F,  F,  F,  F,  T]
all_match : [ 1,  1,  1,  0,  1,  1,  1,  0,  0,  1,  1,  1]
"""

3. 一致箇所の拡大復元

前節で求めたall_matchは、10,10,10のように同じ値が連続する部分がまとまった配列に対する位置なので、np.repeat()を用いて1.の逆を行います。

index, = np.repeat(all_match, np.ediff1d(cut_index)).nonzero()

"""
a         : [10, 10, 10, 12, 13, 13,  0,  0, 10, 12, 13, 10, 12, 10, 12, 13, 13]
cut_index : [ 0,          3,  4,      6,      8,  9, 10, 11, 12, 13, 14, 15,     17]

all_match : [ 1,          1,  1,      0,      1,  1,  1,  0,  0,  1,  1,  1,   ]
(repeat)  : [ 1,  1,  1,  1,  1,  1,  0,  0,  1,  1,  1,  0,  0,  1,  1,  1,  1]
index     : [ 0,  1,  2,  3,  4,  5,          8,  9, 10,         13, 14, 15, 16]
"""

Comments

[magichan]

あーなるほど、[10,12,13] の周期毎に id を振るって事か・・完全に仕様を間違って解釈していた

Answer 2

仕様が若干不明瞭なところがありますが。。。

同じ数値でも出現箇所が違う場合はid を分けたいのでしょうかね。
でしたらこんな感じで書けます。

import pandas as pd
df = pd.DataFrame({'num': [10,10,10,10,12,12,12,12,10,10,13,13,13]})

# idを振る
df['id'] = (df['num'].diff()!=0).cumsum()
print(df)
#    num  id
#0    10   1
#1    10   1
#2    10   1
#3    10   1
#4    12   2
#5    12   2
#6    12   2
#7    12   2
#8    10   3
#9    10   3
#10   13   4
#11   13   4
#12   13   4

# 何個連続しているか
ret = df.groupby('id').size()
print(ret)
#id
#1    4
#2    4
#3    2
#4    3

---

【修正回答】
kirara0048 さんと回答により仕様を完全に間違って解釈していたことが判明しましたので・・・

10,12,13 の周期毎に id を振りたいのであれば num値の 13 から 10 への変化点だけを見て積算するとよろしいかと

import pandas as pd
df = pd.DataFrame({'num': [10,10,10,10,12,12,12,12,13,13,13,10,12,12,13,13,10,10,10,10,12,12,13]})

# idを振る
df['id'] = ((df['num'].shift()!=10) & (df['num']==10)).cumsum()
print(df)
#    num  id
#0    10   1
#1    10   1
#2    10   1
#3    10   1
#4    12   1
#5    12   1
#6    12   1
#7    12   1
#8    13   1
#9    13   1
#10   13   1
#11   10   2
#12   12   2
#13   12   2
#14   13   2
#15   13   2
#16   10   3
#17   10   3
#18   10   3
#19   10   3
#20   12   3
#21   12   3
#22   13   3