pythonのextend

Question

pythonのextendを使って下記コードを実行してresult_docsのようなリストを作成しました。
このコードは問題があり、extendで追加したリストのidが同じであるためresult_doc[1][2]の要素を変更するとresult_doc[1][3]も変わってしまいます。

改善策としてfor文でextendを繰り返し実行すると上手くいくのですが、もう少しシンプルに書きたいです。

よろしくお願いします

データ

docs = [[ [3 , 7 , 4], [1 , 2],  [4 , 10 , 1, 444, 7 , 8], [1 , 2], [3 , 11, 58] ],
[ [ 738, 185, 596], [10 , 20 ,5, 10 ,2 , 3, 4 , 5, 10]]
max_ds_num  = 4

問題コード

def sentence_padding(docs, max_ds_num):
    for doc in docs:
        if len(doc) < max_ds_num:
            padding_list = [[0]] * (max_ds_num - len(doc))
            doc.extend(padding_list)
    return docs

return時のdocs状態
result_docs = [[[3, 7, 4], [1, 2], [4, 10, 1, 444, 7, 8], [1, 2], [3, 11, 58]], 
                [[738, 185, 596], [10, 20, 5, 10, 2, 3, 4, 5, 10], [0], [0]]]

print(id(result_doc[1][2]))　-> 1
print(id(result_doc[1][2]))　-> 1

改善策

def sentence_padding(docs, max_ds_num):
    for doc in docs:
        if len(doc) < max_ds_num:
            padding_list = [[0]] * (max_ds_num - len(doc))
            for i in range(0, (max_ds_num - len(doc))):
                doc.extend([[0]])
    return docs

print(id(result_doc[1][2]))　-> 1
print(id(result_doc[1][2]))　-> 2

Comments

[fuzzball]

質問とは関係ないですが max_ds_num じゃなくて min_ds_num ではないでしょうか？

[imaharu]

変数名のことでしょうか？機械学習で利用するデータを作成しています。padding処理というものがありまして、mini-batchするために文章で出現する文の総数を合わせるため文の最大値(max_sentence_num > max_ds_num)を基準値としてpaddingするためこのような変数名となっています。おそらく処理の意図的に間違っていないかと

[imaharu]

ちなみに　max_doc_sentence_num = max([*map(lambda x: len(x), source_docs )])　こんな感じでとっております

[fuzzball]

あぁ、sentence_padding関数内での変数名のことです。max_ds_numには最小要素数を渡しているようなので min の方が適切かなと思っただけです。

Answer 1

こんなふうに解決できるかと。

def sentence_padding(docs, max_ds_num):
    for doc in docs:
        while len(doc) < max_ds_num:  # for _ in range(max_ds_num - len(doc)): でも良い
            doc.append([0])
    return docs

Comments

[imaharu]

ありがとうございます。時間計測して使ってみます