pythonでN個ずつ値を取り出したい。

Question

こんちには。

配列をグループ化して、グループを任意の単位のサブグループで括りたいと考えております。
例えば、グループ化後、2個単位にまとめる場合、以下のイメージです。

[1,1,1,2,2,3,3,4,4,4]
-> [[[1,1,1],[2,2]],[[3,3],[4,4,4]]]

頑張れば、書けると思うのですが、itertoolsなどでスッキリ書きたいと思っています。
以下のように書いたのですが、なぜか奇数の時にgrouperの値が入っていないです。

from itertools import groupby
from more_itertools import chunked

x = [1,1,1,2,2,3,3,4,4,4]
x_grouped = map(lambda xx: xx[1], groupby(x))
for a,b in chunked(x_grouped,2):
    print(a,b)
    print(list(a), list(b))    

## <itertools._grouper object at 0x7f24339436a0> <itertools._grouper object at 0x7f24339432e8>
## [] [2, 2]
## 
## <itertools._grouper object at 0x7f24339436d8> <itertools._grouper object at 0x7f24339430f0>
## [] [4, 4, 4]

どなたか原因と解決策がお分かりの人、よろしくお願い致します。
※なんで、こんなことしたいのかは問わないでください・・

Answer 1

既に解決策は出たようですが、原因がわりあい面白かったのでつらつら書きます。
簡潔に言えば、itertools.groupbyは後戻りできない仕様なのです。

import itertools

g_it = itertools.groupby([1, 1, 2, 2, 3, 3])

k1, it1 = next(g_it)
k2, it2 = next(g_it)
print(k1, list(it1))   # => 1 []
print(k2, list(it2))   # => 2 [2, 2]

k3, it3 = next(g_it)
print(k3, list(it3))   # => 3 [3, 3]

Wandbox

実装上、要素を一回しか舐めないように効率化されているようです。

これは非常に嬉しい作りなのですが、
如何せんchunkedのような『先読み』を要するグルーピング関数との相性は最悪です。

返されるグループはそれ自体がイテレータで、 groupby() と iterable を共有しています。もととなる iterable を共有しているため、 groupby() オブジェクトの要素取り出しを先に進めると、それ以前の要素であるグループは見えなくなってしまいます。従って、データが後で必要な場合にはリストの形で保存しておく必要があります

引用元： itertools.groupby — Python 3.8.0 ドキュメント

リンク先で紹介されている簡易実装では、is演算子がその真価を発揮しています。

解決策

前以てイテレータをリストに変換するのが最も素直でしょう。

しかし、xが非常に多い要素を持つときはメモリを圧迫する恐れもあります。
そのような事情がある際は次のようにitertools.isliceを使っても良いかもしれません。

import itertools


x = [1, 1, 1, 2, 2, 3, 3, 4, 4, 4]
g_it = itertools.groupby(x)

n = 2
while True:
    elems = [list(it) for k, it in itertools.islice(g_it, 0, n)]
    if not elems:
        break
        
    print(*elems)

実行結果 Wandbox

[1, 1, 1] [2, 2]
[3, 3] [4, 4, 4]

Comments

[luluca]

ご丁寧にありがとうございました。
groupbyの効率化のための仕様まで理解できていなかったので勉強になりました！

Answer 2

自己解決です。（勉強不足でした。）
groupby(x)の各grouperオブジェクトはイテレータにしないとダメみたいでした。
※ただ、print()の結果はよくわかっていないのですが・・

x_grouped = map(lambda xx: list(xx[1]), groupby(x))