python 複雑なリスト計算

Question

data1 = [("a", "b", "100"),("c", "d", "90"),("e", "f", "80")]


data2 = [("c", "d", "30"),("e", "f", "100"),("a", "b", "5")]

このような２つのデータにおいて
data1とdata2に共通するペアのスコアを合計して最大値をprintしたいです。

[data1:a b 100] + [data2:a b 5] = 105
[data1:c d 90] + [data2:c d 30] = 120
[data1:e f 80] + [data2:e f 100] = 180

data1にあるa,bというペアをdata2からどのように探して、計算していいかわかりません。

宜しくお願い致します。

Comments

[hayataka2049]

どのようにデータを保持しているのかがわからないのと、このままでは実行可能ではないので、実際に保持されている状況がわかるように、かつ実行可能なコードに編集していただいた方が良いかと思います。
適当にリストのリストやDataFrameとみなして回答しても良いのですが、回答のコードがそのまま使えた方が質問者さんのメリットが大きいと思います。

[22Go]

配慮が足りず、すみません。データの保持はリストのリストに変えることも検討してます。
宜しくお願い致します。

Answer 1

素のpythonで書くとこうなります。

容易に処理するために辞書に変換し、ついでにintにしておきます。

data1 = [("a", "b", "100"),("c", "d", "90"),("e", "f", "80")]
data2 = [("c", "d", "30"),("e", "f", "100"),("a", "b", "5")]

data1_dict = {(k1, k2):int(v) for k1, k2, v in data1}
data2_dict = {(k1, k2):int(v) for k1, k2, v in data2}
print(data1_dict)
print(data2_dict)
""" 
{('a', 'b'): 100, ('c', 'd'): 90, ('e', 'f'): 80}
{('c', 'd'): 30, ('e', 'f'): 100, ('a', 'b'): 5}
"""

キーの積集合を取り、それを使って結果の辞書を作ります。

result = {k:data1_dict[k] + data2_dict[k] 
          for k in data1_dict.keys() & data2_dict.keys()}
print(result)
# {('c', 'd'): 120, ('e', 'f'): 180, ('a', 'b'): 105}

必要に応じてリストに戻します。

result = [(k[0], k[1], v) for k, v in result.items()]
print(result) # [('a', 'b', 105), ('c', 'd', 120), ('e', 'f', 180)]

Comments

[22Go]

ありがとうございます。非常にシンプルで理想に近づいたのですが
新たにエラーが出てしまいました。

[hayataka2049]

エラーメッセージを教えてください

[22Go]

moduleとdictcompのエラーが出てきました。

[hayataka2049]

まず、出たエラーをそのままコピペしてください。また、質問文のがダミーデータで現実の状況と異なっているなら、必要な範囲で情報を追加してください。

[22Go]

すみません、リアルデータが大量すぎて追加できないのですが
エラーを検索したところ、ダミーデータでいう
（"a", "a","100"）といったk1,k2が同じものが見つかってしまいました。
なのでdictで参照できていなことがエラーの原因のようなのですが、どうしたらいいでしょうか。。。

[22Go]

条件分岐でkeyが同じ時に何か処理する方がいいでしょうか？

[hayataka2049]

私のコードは（"a", "a","100"）のようなものでも問題なく処理できます。
繰り返しになりますが、まずは出たエラーをそのままコピペしてください。コメント欄が狭ければ質問を編集して載せても構いません。

[22Go]

Traceback (most recent call last):
File "sample3.py", line 20, in <module>
a = {k:h_e_dict[k] + e_h_dict[k] for k in h_e_dict.keys() and e_h_dict.keys()}
File "sample3.py", line 20, in <dictcomp>
a = {k:h_e_dict[k] + e_h_dict[k] for k in h_e_dict.keys() and e_h_dict.keys()}
KeyError: ('NP_414542.1', 'NP_414542.1')

出たエラーはこちらです。

[hayataka2049]

回答の&をandに直されたのですね。良かれと思ってやったのだと思いますが、意味が違います。今回は&が必要です。

[22Go]

ありがとうございます。なぜ&でないといけないかという理由も解決いたしました。本当にありがとうございます！

[hayataka2049]

解決して何よりです。ちなみに私のコードは[("a", "b", "100"),("a", "b", "90")]など辞書のキーになる部分が重複している場合は期待通り動かない可能性がある（どういう動作を期待しているのかにもよりますが）ので、もしそうであればご注意ください。言っていただければ代替案を考えます。

ちょっと凶悪なつまづきポイントだと思ったのでブログのネタにさせていただきました。よろしければご覧ください。
https://www.haya-programming.com/entry/2019/05/20/000528

[22Go]

度々失礼いたします。
データをhayataka2049さんの案の通りに動かしていたところ辞書のキーが重複していました。。。。
その場合”v”が大きい値を取り出したいのですがどうしたらいいでしょうか？
取り出すタイミングはresult = [(k[0], k[1], v) for k, v in result.items()]
print(result) # [('a', 'b', 105), ('c', 'd', 120), ('e', 'f', 180)]の後でリストから取り出そうかと思いました。キーと値の確認をif分で入れてみようかと考えたのですが、結局うまくいかずのところです。。。

[hayataka2049]

その場合は辞書に変換するタイミングでなんとかする必要があります。
動作確認していませんが、こんな感じでいいのでは。
data1_dict = dict()
for k1, k2, v in data1:
if v > data1_dict.get((k1, k2), -float("inf")):
data1_dict[(k1,k2)] = v