Pythonでリストを条件を使って複数のリストにしたい

Question

困っていること

ログの集計を実装しており、表示とクリックに関するログをクリックログをもとに分割したいです
具体的には[show, show, click, show, show, show] のようなリストを
[[show, show, click], [show, show, show]]としたいです
膨大な量のログなのでできるだけ早いアルゴリズムでやるか、ビルトインのライブラリを使ってうまくやりたいですが、
現状はナイーブな実装しか思い浮かんでいません

ナイーブな実装

ナイーブな実装を考えると以下のようになります

def iikanji(l, stop_word):
  r = []
  tmp = []
  for _l in l:
    tmp.append(_l)
    if _l == stop_word:
      r.append(tmp)
      tmp  = []
  r.append(tmp)
  return r

s = 'show'
c = 'click'
l = [s, s, c, s, s, s]
iikanji(l) # => [[s, s, c], [s, s, s]]

---

なにかアイデアありませんでしょうか
どうぞよろしくお願いします

Answer 1

clickが存在する位置のインデックスのリストを予め作っておき、それを元に分割する方法です。

jeanbiegoさんの処理をお借りし、私の処理も時間を測ってみました。
またjeanbiegoさんの生成リストだとclickが少ないように思えたので、
パターンではありますが、clickが多めのリストを生成して計測しました。

import time

def iikanji(l, stop_word):
    r = []
    tmp = []
    for _l in l:
        tmp.append(_l)
        if _l == stop_word:
            r.append(tmp)
            tmp  = []
    r.append(tmp)
    return r

def index_word(l, stop_word):
    stop = l.index(stop_word)+1
    return [l[:stop],l[stop:]]

s = 'show'
c = 'click'
l = [c if i % 3 == 0 else s for i in range(10000)]

start = time.time()
for i in range(1000):
    iikanji(l,c)
elapsed_time = time.time() - start
print ("iikanji_time:{0}".format(elapsed_time) + "[sec]")
# iikanji_time:3.5083327293395996[sec]

start = time.time()
for i in range(1000):
    index_word(l,c)
elapsed_time = time.time() - start
print ("index_time:  {0}".format(elapsed_time) + "[sec]")
# index_time:  0.025966882705688477[sec]

start = time.time()
il = [i for i, v in enumerate(l) if v == c]
idx = 0
rl = []
for s in il:
    rl.append(l[idx:s+1])
    idx = s+1
if idx < len(l): rl.append(l[idx:])
elapsed_time = time.time() - start
print ("index_list_time:  {0}".format(elapsed_time) + "[sec]")
# index_list_time:  0.0039975643157958984[sec]

Answer 2

こんにちは

空のリストを作って、それに要素をひとつずつappendする替わりに、元のリストのスライスをyieldするジェネレータを作り、リスト化は最後に行うことにするのはいかがでしょうか？

以下は、この考え方によるサンプルです。

def divide(l, stop_word):       
    while True:
        stop_index = l.index(stop_word) + 1 if stop_word in l else -1
        yield l[:stop_index] if stop_index >= 0 else l
        if stop_index == -1:
            break            
        l = l[stop_index:]        
        

result = list(divide(l, c))

• 動作確認用 Repl.it: https://repl.it/@jun68ykt/Q287234#main.py

Answer 3

どのくらいの速さを求められてるのか不明ですが、たとえば下記のような…？

import time

def iikanji(l, stop_word):
  r = []
  tmp = []
  for _l in l:
    tmp.append(_l)
    if _l == stop_word:
      r.append(tmp)
      tmp  = []
  r.append(tmp)
  return r

def index_word(l, stop_word):
    stop = l.index(stop_word)+1
    return [l[:stop],l[stop:]]

s = 'show'
c = 'click'
l = [s]*1000+[c]+[s]*1999

start = time.time()
for i in range(1000):
    iikanji(l,c) # => [[s, s, c], [s, s, s]]
elapsed_time = time.time() - start
print ("iikanji_time:{0}".format(elapsed_time) + "[sec]")
# iikanji_time:0.8487265110015869[sec]

start = time.time()
for i in range(1000):
    index_word(l,c) # => [[s, s, c], [s, s, s]]
elapsed_time = time.time() - start
print ("index_time:  {0}".format(elapsed_time) + "[sec]")
# index_time:  0.04487943649291992[sec]

Answer 4

奇妙な手法を考えました

def func(l, s, c):
    out = [(i+c).lstrip(',').split(',') for i in ','.join(l).split(c)]
    if l[-1] == c:
        out = out[:-1]
    else:
        out[-1][-1] = s
    return out

s = 'show'
c = 'click'
l = [s, s, c, s, s, s]

func(l, s, c)
# [['show', 'show', 'click'], ['show', 'show', 'show']]
func([s, s, c, s, s, s, c], s, c)
# [['show', 'show', 'click'], ['show', 'show', 'show', 'click']]

Answer 5

そのように分割しないで、元のリストのままで処理することを考えた方が良い気がします。
インデックスを適切に保持すれば出来るのでは？

（こういう処理は、Rubyだと一発ですが）