listを並列的に追加する

Question

前提・実現したいこと

複数ある配列を並列的(正しい言葉かわかりません)に一つの配列に変換する関数を実装したいです。

前提と期待する結果

#縦横可変長
a = [1,5]
b = [2,6,8]
c = [3,]
d = [4,7,9,10]

結果
answer=[1,2,3,4,5,6,7,8,9,10]

試したこと

配列自体可変長であり、変数の個数も可変長であるのに事前に数字で書いてしまい、実装も調べてもわかりませんでした。

lst=[]
def sol(*lsts):
    lstsif len(a) > 0 and len(b)> 0 and len(c) > 0 and len(d) > 0:
        lst.append(a)
        lst.append(b)
        lst.append(c)
        lst.append(d)

Answer 1

短く書くと

>>> a = [1,5]
>>> b = [2,6,8]
>>> c = [3,]
>>> d = [4,7,9,10]
>>> x = [a, b, c, d]
>>> [lst[j:j+1][0] for j in range(max([len(i) for i in x])) for lst in x if lst[j:j+1]!=[]]
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

分解して書くと

>>> a = [1,5]
>>> b = [2,6,8]
>>> c = [3,]
>>> d = [4,7,9,10]
>>> x = [a, b, c, d]
>>> maxlen = max([len(i) for i in x])
>>> print(maxlen)
4
>>> templist = [lst[j:j+1] for j in range(maxlen)  for lst in x]
>>> print(templist)
[[1], [2], [3], [4], [5], [6], [], [7], [], [8], [], [9], [], [], [], [10]]
>>> result = [lst2[0] for lst2 in templist if lst2!=[]]
>>> print(result)
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

Comments

[ruizu]

ありがとうございます！
この場合、ｘの配列を事前に用意していると思うのですが、変数がa,b,c,dだけでなくe,f,gと続く場合どのようにしたらよいでしょうか？

[ruizu]

*argsで受け取って、x=[i for i in args]で用意できました！
ありがとうございます！！

[ppaul]

x=[i for i in args] でもできますね。
x=list(args) と書いても同じことができます。
さらにいうと、xはリストのリストでなく、リストのタプルでもよいので、
x=argsとしても同じ結果が出ます。
結局のところ、
def foo(*x):
return [lst[j:j+1][0] for j in range(max([len(i) for i in x])) for lst in x if lst[j:j+1]!=[]]
でも動きます。

[ruizu]

なるほど、そんなに簡単に書けるんですね！
勉強になります、丁寧に教えていただきありがとうございますm(_ _*)m

Answer 2

他の回答と似ているが、ちょっと違う発想で。

p.py

a = [1,5]
b = [2,6,8]
c = [3,]
d = [4,7,9,10]
z = [a, b, c, d]

w = max(list(map(lambda v: len(v), z)))
h = len(z)
ans = list(filter(lambda x: x, 
        [z[y][x] if x < len(z[y]) else None for x in range(w) for y in range(h)])
      )
print(ans)

print()
print([z[y][x] if x < len(z[y]) else None for x in range(w) for y in range(h)])

実行例

２次元配列を１次元配列で表現をして処理しています。( Array[x][y] は v[x * width * y] に相当する)

2 次元配列に対して、 a, b, c, d を 縦方向に代入していきます。
最後に　None のものを削除します。

２行目の出力は None を取除く前の状態です。

追記：
2次元行列に
横方向に詰めていく方法２つと
縦に詰めていく方法１つを並べてみました。
（コメントでもらったように、 None 代入を外しています）

p.py

a = [1, 5]
b = [2, 6, 8]
c = [3]
d = [4, 7, 9, 10]
z = [a, b, c, d]

w = max(list(map(lambda v: len(v), z)))
h = len(z)

ans = [x for v in z for x in v]
print(ans)
ans = [z[y][x] for y in range(h) for x in range(w) if x <len(z[y])]
print(ans)

print()

ans = [z[y][x] for x in range(w) for y in range(h) if x < len(z[y])]
print(ans)

実行例

Comments

[bsdfan]

あとでfilterで取り除くより、最初からリストに入れないほうがスマートな気がしました。
[z[y][x] for x in range(w) for y in range(h) if x < len(z[y])]

[katoy]

ああ、おっしゃるとおりですね。

Answer 3

リストにNoneが含まれてないことを前提で。

import itertools

a = [1,5]
b = [2,6,8]
c = [3,]
d = [4,7,9,10]

ans = list(filter(lambda x: x is not None,
                  itertools.chain.from_iterable(itertools.zip_longest(a,b,c,d))))

print(ans) #=> [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

Comments

[otn]

> 複数ある配列を並列的(正しい言葉かわかりません)に一つの配列

zipといいます。（c.f. 服のジッパー＝ファスナー）
長さが等しければ、zip関数で。zip([1,2,3],[9.8,7])

Answer 4

質問者さんのやりたいことはMapReduceかと思います。
並列処理は一台のマシンのマルチスレッド処理でしょうか？それとも複数台のマシンで分散処理したいのでしょうか？
どちらなのかによってやり方は少し変わります。

一台のマシンで上で並列処理したいなら、整列コレクションを探してreduceという関数を使いましょう。

分散処理をしたい場合は、分散処理用のフレームワークの導入を検討すると良いです。有名なところではHadoopやApache Sparkがあります。

知らない言葉がたくさん出てきたかと思いますが、遠回りのように見えても一つ一つ調べて理解していくほうが、最終的には早く解決できます。