Python3で変数を積み上げる方法をご教示いただけないでしょうか

Question

前提・実現したいこと

変数の積上げはPythonで可能でしょうか。
分析で使うデータの形が悪く、加工して使おうとしています。どのようなコードをかけば実現できるかわかりません。

▽今のデータ(CSVのイメージで記載)
ID,M201701,M201702,M201703

1,33,44,55

2,66,77,88

▽加工後に実現したい形

※変数名をvarとnumにしていますが何でもよいです
※varという名前でID以外の変数名を積上げ、値の数値も積上げる、変数を積み上げたのでIDは3行になる

ID,var,num

1,M201701,33

1,M201702,44

1,M201703,55

2,M201701,66

2,M201702,77

2,M201703,88

M201701,M201702,M201703の3つの変数を例で記載していますが、実際には120あり、今後も増えていきます。
そのため、

ID,M201701
と
ID,M201702
と
ID,M201703

の3つのテーブルをひとつずつ作って縦に連結するという方法はあまり現実的ではないと思いました。

また行も4000くらいあります。Pythonで自動的にデータ加工できたら楽なので、もし可能ならご教示いただきたく。
よろしくお願いいたします。

補足情報（FW/ツールのバージョンなど）

Python3を使っています。

Comments

[otn]

「積み上げ」とは？質問を「積み上げ」という言葉を使わず、書き直してください。「列の追加」のことですか？

[ano2018]

早速のご回答ありがとうございます。 s_data に固定値を指定する場合、実際には120ほどの変数と4000行のデータなので厳しいです。 s_dataの値をデータから自動的に取得する方法はありますでしょうか。

[Lhankor_Mhy]

「自動的に取得」とはどのような動作のことですか？　どのような入力に対してどのような出力をイメージしているのか、具体的に提示してください。また、当初の質問とは内容が変わっているようなので、質問にも明示してください。

[ano2018]

otnさん、Lhankoｒ＿Mhyさん、ありがとうございました。入力と出力は質問に記載した通りです。SAS社のJMPというソフトウェアをご存じでしょうか。そのJMPでできる「列の積上げ」と同じ処理になりますが、それが質問に記載した内容になります。「自動的に取得」は、「120くらいの変数数と4000行くらいのデータの大きさに対応した形で処理したい」という質問の内容を実現するための内容となります。しかしながら、YouheiSakuraiさんからのご回答で解決することができました。ありがとうございました。私の質問に対してお時間を使っていただき感謝いたします。本当にありがとうございました。

Answer 1

タグにあるので Pandas を使用した方法を回答します。
melt メソッドを使って変換できます。

import io
import pandas as pd

# 元のデータ
raw_df = pd.read_csv(io.StringIO("""ID,M201701,M201702,M201703
1,33,44,55
2,66,77,88
"""))

# 整然化
tidy_df = raw_df.melt(
    id_vars='ID', value_vars=raw_df.columns[1:], var_name='var', value_name='num'
).sort_values(
    ['ID', 'var']
).reset_index(
    drop=True
)

print(tidy_df)
#    ID      var  num
# 0   1  M201701   33
# 1   1  M201702   44
# 2   1  M201703   55
# 3   2  M201701   66
# 4   2  M201702   77
# 5   2  M201703   88

# list へ変換
tidy_data = tidy_df.values.tolist()
print(tidy_data)
# [[1, 'M201701', 33], [1, 'M201702', 44], [1, 'M201703', 55], [2, 'M201701', 66], [2, 'M201702', 77], [2, 'M201703', 88]]

# CSV形式のテキストに変換
# ※StringIO の代わりにパスを渡せばファイルへ書き込む: tidy_df.to_csv(r'./output.csv', index=False)
output_csv = io.StringIO()
tidy_df.to_csv(output_csv, index=False)
print(output_csv.getvalue())
# ID,var,num
# 1,M201701,33
# 1,M201702,44
# 1,M201703,55
# 2,M201701,66
# 2,M201702,77
# 2,M201703,88

Comments

[ano2018]

copepodaさん、ありがとうございます！まさにこれがしたかったことでした。
YouheiSakuraiさんのyieldのものは、進めていくうちにデータがTupleになっており処理が滞って別の質問を立てたところでした。
ありがとうございました！

Answer 2

from csv import DictReader


def TransReader(fp, **kwargs):
    yield "ID", "var", "num"
    for row in DictReader(fp, **kwargs):
        ID = row.pop("ID")
        yield from ((ID, key, row[key]) for key in row)


with open("sample.csv") as fp:
    for row in TransReader(fp):
        print(*row, sep=",")

yieldを上手く使えば何万行あっても大丈夫です。変数も数千くらいなら全然問題にはならないと思います。

※追記：大きなデータでも行けるようにfor文をひとつyield fromで置き換えました。

Comments

[ano2018]

YouheiSakuraiさん、ご回答いただきありがとうございました。解決できました。
「yield」と「yield from]、および他にも理解が不足していることがあり、頂いたPGMを理解できていませんが、調べながら知識にしていきたいと思います。
私の質問にお時間を使っていただき感謝します。ありがとうございました。

Answer 3

こちらでどうでしょう。

s_data = [["ID", "M201701", "M201702", "M201703"], [1, 33, 44, 55],[2, 66, 77, 88]]
d_data = [["ID", "var", "num"]]
for i in range(len(s_data)-1):
    for j in range(len(s_data[0])-1):
        t_data = []
        t_data += [s_data[i+1][0]]
        t_data += [s_data[0][i+1]]
        t_data += [s_data[i+1][j+1]]
        d_data += [t_data]
print(d_data)

Comments

[ano2018]

早速のご回答ありがとうございます。
s_data
に固定値を指定する場合、実際には120ほどの変数と4000行のデータなので厳しいです。
s_dataの値をデータから自動的に取得する方法はありますでしょうか。

[yag1kaz]

それは別の質問を建てていただいたほうが質問とタイトルとの一貫性からは、良いようにおもえます。
csvをlistに変換する方法ということになりますね。

回答とセットで私のほうであげておきますね。あげたらURLを転記します。

[yag1kaz]

https://teratail.com/questions/111355
こちらにアップしておきました。

[ano2018]

yag1kazさん、ご回答いただきありがとうございました。
「csvをlistに変換する方法」かもわかっていないですが、実現したかったことはYouheiSakuraiさんのPGMで解決いたしました。
私の質問にお時間をいただき本当にありがとうございました。