pythonのfor文の位置について

Question

kaggleで勉強中に以下のコードが出てきました。
誤解を避けるため、ほぼそのまま転記いたします。
変数など説明不足でわかりにくいかもしれませんが、メソッドチェーン全体の構造と、最後のfor文に注目してください。
文法構造についての質問です。

TARGET = "sales"
n_days = 7
pca_df = grid_df
pca_col = 'id'

LAG_DAYS = [col for col in range(1,n_days+1)]
format_s = '{}_pca_'+pca_col+str(n_days)+'_{}'         
pca_df = pca_df.assign(**{
        format_s.format(col, l): pca_df.groupby([pca_col])[col].transform(lambda x: x.shift(l))
        for l in LAG_DAYS
        for col in [TARGET]
    })

grid_dfは、コードの過程で出てきたデータフレームです。
assin()使ったメソッドチェーンということは分かるのですが、最後のfor文ふたつがうまく理解できません。
該当のfor文ふたつが、なぜこの位置で構文が成立するのでしょうか。これは特殊な書き方なのでしょうか。

この結果はカラムがいくつか追加されます。コードの自体の意味はなんとなく分かりますし、結果も予測はつきました。しかし、見たことのない書き方なので、プログラムとしての解釈の仕方がわかりません。

Comments

[Kenji.Noguchi]

これは辞書内包表記の中にリスト内包表記が入っています。{key: value for value in X for key in Y} と言う感じです。

[fu_3823]

ありがとうございます。辞書内包表記と内包表記の併用は見たことがなかったので、理解ができませんでした。無理に参考にしないようにします。

[fu_3823]

ありがとうございます。回答欄に転記していただけると、BAにできます。
辞書内包表記とリスト内包表記の併用を改行された長いコード見たことがなかったので、うまく理解できませんでした。

Answer 1

コードが複雑なので、問題を簡単化するためにリスト内包表記の部分を抜き出せば

n_days = 7
pca_col = 'id'

TARGET = "sales"
LAG_DAYS = [col for col in range(1, n_days + 1)]
format_s = '{}_pca_' + pca_col + str(n_days) + '_{}'

print([(col, l) for l in LAG_DAYS for col in [TARGET]])

# [('sales', 1), ('sales', 2), ('sales', 3), ('sales', 4), ('sales', 5), ('sales', 6), ('sales', 7)]

単純にリストxリストで順列を作っているようです。

これを辞書内包表記に使えば次のようになります。単純化のためにDataFrameの部分を"some values"に置き換えれば

print({format_s.format(col, l): "some values" for l in LAG_DAYS for col in [TARGET]})

# {'sales_pca_id7_1': 'some values', 'sales_pca_id7_2': 'some values', 'sales_pca_id7_3': 'some values', 'sales_pca_id7_4': 'some values', 'sales_pca_id7_5': 'some values', 'sales_pca_id7_6': 'some values', 'sales_pca_id7_7': 'some values'}

元のコードは辞書のキーと、集約化した値を使って新たなDataFrameを作っているようです。

順列の部分を標準のモジュールを使って書くなら次のようになります。まぁこれくらいならモジュールを使うまでもないと言うことなのでしょう。

import itertools
print({format_s.format(col, l): "some values" for col, l in itertools.product([TARGET], LAG_DAYS)})

# {'sales_pca_id7_1': 'some values', 'sales_pca_id7_2': 'some values', 'sales_pca_id7_3': 'some values', 'sales_pca_id7_4': 'some values', 'sales_pca_id7_5': 'some values', 'sales_pca_id7_6': 'some values', 'sales_pca_id7_7': 'some values'}

Comments

[fu_3823]

丁寧なご説明ありがとうございました。なんとか理解できました。
なかなか理解が進まず、時間だけが経ってしまう悪循環でしたので助かりました。

Answer 2

内包表記は分かるでしょうか。
二重のforループが、

{z(x,y) for x in list0 for y in list1}

という形で表現されています。

Comments

[fu_3823]

辞書内包表記とは思いませんでした。参考になりました。