Pythonのアルゴリズムでどのように実装すれば良いのか答えがでません。

Question

前提

Pythonでコードを書いています。
アルゴリズムに関して実現したいことがあるのですが、わかりそうでわからない為時間がかかっています。
是非お力添えいただきたいです。

実現したいこと

以下のリストを加工してまとめたいです。

[
 {'ID': 1, 'fruits': 'りんご', 'total ': 1, 'product': ['青森'], 'counts': [1], 'remarks': ['酸味']},
 {'ID': 2, 'fruits': 'もも', 'total': 2, 'product': ['山梨'], 'counts': [2], 'remarks': ['甘味']},
 {'ID': 3, 'fruits': 'ぶどう', 'total': 1, 'product': ['山梨'], 'counts': [1], 'remarks': ['酸味']},
 {'ID': 2, 'fruits': 'もも', 'total': 1, 'product': ['福島'], 'counts': [1], 'remarks': ['甘味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 1, 'product': ['愛媛'], 'counts': [1], 'remarks': ['うま味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 3, 'product': ['和歌山'], 'counts': [3], 'remarks': ['酸味']},
 {'ID': 1, 'fruits': 'りんご', 'total': 2, 'product': ['福島'], 'counts': [2], 'remarks': ['酸味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 2, 'product': ['静岡'], 'counts': [2], 'remarks': ['苦味']},
 ]

• リスト内にdict型の値が入っています。
• keyである"ID"が決まれば"fruits"も決まります。
• 辞書型のkeyである'product''counts''remarks'の値はリスト型です。

纏めた結果は以下となります。

[
 {'ID': 1, 'fruits': 'りんご', 'total': 3, 'product': ['青森', '福島'], 'counts': [1,2], 'remarks': ['酸味','酸味']},
 {'ID': 2, 'fruits': 'もも', 'total': 3, 'product': ['山梨', '福島'], 'counts': [2,1], 'remarks': ['甘味','甘味']},
 {'ID': 3, 'fruits': 'ぶどう', 'total': 1, 'product': ['山梨'], 'counts': [1], 'remarks': ['酸味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 6, 'product': ['愛媛','和歌山','静岡'], 'counts': [1,3,2], 'remarks': ['うま味','酸味','苦味']},
 ]

• 'ID'及び'fruits'が重複しないように辞書型をまとめ、'product''counts''remarks'の値をリストに追加していく。
• countsの値であるリストの合計が'total'の合計となる。

該当のソースコード

list = [
 {'ID': 1, 'fruits': 'りんご', 'total ': 1, 'product': ['青森'], 'counts': [1], 'remarks': ['酸味']},
 {'ID': 2, 'fruits': 'もも', 'total': 2, 'product': ['山梨'], 'counts': [2], 'remarks': ['甘味']},
 {'ID': 3, 'fruits': 'ぶどう', 'total': 1, 'product': ['山梨'], 'counts': [1], 'remarks': ['酸味']},
 {'ID': 2, 'fruits': 'もも', 'total': 1, 'product': ['福島'], 'counts': [1], 'remarks': ['甘味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 1, 'product': ['愛媛'], 'counts': [1], 'remarks': ['うま味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 3, 'product': ['和歌山'], 'counts': [3], 'remarks': ['酸味']},
 {'ID': 1, 'fruits': 'りんご', 'total': 2, 'product': ['福島'], 'counts': [2], 'remarks': ['酸味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 2, 'product': ['静岡'], 'counts': [2], 'remarks': ['苦味']},
 ]
new_list = []
for data in list:
  for new_data in new_list:  
    if not data["ID"] in new_data["ID"]:
      new_list.append({'ID':data["ID"],'fruits':data["fruits"]})

試したこと

⑴新たなリストnew_listを用意してlistをループで回す。
⑵new_listの中にlistのデータ”ID”と"fruits"がなければappendしていく。
⑶リストが回し終わったら、再度new_listを回し、counts内の数字を足してtotalの値を書き換える。
という流れになるとおもうのですが、⑴と⑵がうまく実装できません。

補足情報（FW/ツールのバージョンなど）

Python3.7.9を使用

Answer 1

IDをキーとした辞書でフルーツ毎にデータをまとめると楽です。
この辞書にリストデータを順に登録あるいはproductなどの属性を追加していきます。
最後に辞書からリストを作成します。

lst = [
 {'ID': 1, 'fruits': 'りんご', 'total ': 1, 'product': ['青森'], 'counts': [1], 'remarks': ['酸味']},
 {'ID': 2, 'fruits': 'もも', 'total': 2, 'product': ['山梨'], 'counts': [2], 'remarks': ['甘味']},
 {'ID': 3, 'fruits': 'ぶどう', 'total': 1, 'product': ['山梨'], 'counts': [1], 'remarks': ['酸味']},
 {'ID': 2, 'fruits': 'もも', 'total': 1, 'product': ['福島'], 'counts': [1], 'remarks': ['甘味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 1, 'product': ['愛媛'], 'counts': [1], 'remarks': ['うま味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 3, 'product': ['和歌山'], 'counts': [3], 'remarks': ['酸味']},
 {'ID': 1, 'fruits': 'りんご', 'total': 2, 'product': ['福島'], 'counts': [2], 'remarks': ['酸味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 2, 'product': ['静岡'], 'counts': [2], 'remarks': ['苦味']},
 ]

fruits = dict() # IDをキーとしたフルーツ
for row in lst:
    # 存在しなければフルーツ追加
    ID = row['ID']
    if ID not in fruits:
        fruits[ID] = dict()

    f = fruits[ID]

    # 名称ない（＝新規に追加）ならIDとともに取得
    if 'fruits' not in f:
        f['ID'] = ID
        f['fruits'] = row['fruits']

    # 他の属性を追加
    for key in ['product','counts','remarks']:
        # 属性ない（＝新規に追加）ならリスト生成
        if key not in f:
            f[key] = []

        f[key] += row[key]

# countsからtotal算出
for f in fruits.values():
    f['total'] = sum(f['counts'])

# 辞書をリスト化
ret = list(fruits.values())
for l in ret:
    print(l)
"""
{'ID': 1, 'fruits': 'りんご', 'product': ['青森', '福島'], 'counts': [1, 2], 'remarks': ['酸味', '酸味'], 'total': 3}
{'ID': 2, 'fruits': 'もも', 'product': ['山梨', '福島'], 'counts': [2, 1], 'remarks': ['甘味', '甘味'], 'total': 3}
{'ID': 3, 'fruits': 'ぶどう', 'product': ['山梨'], 'counts': [1], 'remarks': ['酸味'], 'total': 1}
{'ID': 5, 'fruits': 'みかん', 'product': ['愛媛', '和歌山', '静岡'], 'counts': [1, 3, 2], 'remarks': ['うま味', '酸味', '苦味'], 'total': 6}
"""

Comments

[taku-s]

トレースしながら理解できました。ずっと自力で解決できそうでできなかったので、ようやくすっきりしました。
本当にありがとうございます。
確かにIDをキーとして辞書にすると理解がしやすかったです。このようなコードを自分で思いつくことができるようにこれからも精進します！

Answer 2

既に解決済みですが、以下は itertools.groupby を使う方法です。

from itertools import groupby
from pprint import pprint

lst = [
 {'ID': 1, 'fruits': 'りんご', 'total': 1, 'product': ['青森'], 'counts': [1], 'remarks': ['酸味']},
 {'ID': 2, 'fruits': 'もも', 'total': 2, 'product': ['山梨'], 'counts': [2], 'remarks': ['甘味']},
 {'ID': 3, 'fruits': 'ぶどう', 'total': 1, 'product': ['山梨'], 'counts': [1], 'remarks': ['酸味']},
 {'ID': 2, 'fruits': 'もも', 'total': 1, 'product': ['福島'], 'counts': [1], 'remarks': ['甘味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 1, 'product': ['愛媛'], 'counts': [1], 'remarks': ['うま味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 3, 'product': ['和歌山'], 'counts': [3], 'remarks': ['酸味']},
 {'ID': 1, 'fruits': 'りんご', 'total': 2, 'product': ['福島'], 'counts': [2], 'remarks': ['酸味']},
 {'ID': 5, 'fruits': 'みかん', 'total': 2, 'product': ['静岡'], 'counts': [2], 'remarks': ['苦味']},
]

key = lambda x: x['ID']
lst.sort(key=key)
result = []
for k, g in groupby(lst, key=key):
    g = [*g]
    result.append({
        'ID': k,
        'fruits': g[0]['fruits'],
        'total': sum(i['total'] for i in g),
        'product': sum([i['product'] for i in g], []),
        'counts': sum([i['counts'] for i in g], []),
        'remarks': sum([i['remarks'] for i in g], []),
    })

pprint(result, sort_dicts=False)

#
[{'ID': 1,
  'fruits': 'りんご',
  'total': 3,
  'product': ['青森', '福島'],
  'counts': [1, 2],
  'remarks': ['酸味', '酸味']},
 {'ID': 2,
  'fruits': 'もも',
  'total': 3,
  'product': ['山梨', '福島'],
  'counts': [2, 1],
  'remarks': ['甘味', '甘味']},
 {'ID': 3,
  'fruits': 'ぶどう',
  'total': 1,
  'product': ['山梨'],
  'counts': [1],
  'remarks': ['酸味']},
 {'ID': 5,
  'fruits': 'みかん',
  'total': 6,
  'product': ['愛媛', '和歌山', '静岡'],
  'counts': [1, 3, 2],
  'remarks': ['うま味', '酸味', '苦味']}]

Comments

[taku-s]

遅くなりまして申し訳ございません。
itertools、pprintこのようなものがあるのですね！知りませんでした。
他の方々のスクリプトを見るのは非常に参考になりますね、自分の血肉となるように精進いたします。

本当にありがとうございました。