Pythonサンプルコードで、個々の関数は判るのですが、構造・構成がわかりません。。

Question

以下の教本で機械学習を勉強中です。

すぐに使える! 業務で実践できる! Pythonによる AI・機械学習・深層学習アプリのつくり方

サンプルプログラム

以下のサンプルコードですが、何度、トライしても解読不能です。。
特に(*2)がよくわかりません。。

【概要】回帰分析で明日の気温予測をするロジック

どなたか(*2)について、解説頂けないでしょうか？
個々の関数は判るのですが、構造・構成がわかりません。。

• なぜ、学習用データを作成する関数make_data()の中で、for文2つが入れ子に入る？
• for文それぞれの中で、特に、入れ子の入れ子にあるfor文ではなぜ、変数が多い？それぞれの変数の意味は？
• 最後にreturn (x, y)するのは、さすがに判る。同様に、append()でデータを蓄積しているのも判る。

from sklearn.linear_model import LinearRegression
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 気温データ10年分の読み込み
df = pd.read_csv('kion10y.csv', encoding="utf-8")

# データを学習用とテスト用に分割する ---(*1)
train_year = (df["年"] <= 2015)
test_year = (df["年"] >= 2016)
interval = 6

# 過去6日分を学習するデータを作成 ---(*2)
def make_data(data):
    x = [] # 学習データ
    y = [] # 結果
    temps = list(data["気温"])
    for i in range(len(temps)):
        if i < interval: continue
        y.append(temps[i])
        xa = []
        for p in range(interval):
            d = i + p - interval
            xa.append(temps[d])
        x.append(xa)
    return (x, y)


train_x, train_y = make_data(df[train_year])
test_x, test_y = make_data(df[test_year])

# 直線回帰分析を行う ---(*3)
lr = LinearRegression(normalize=True)
lr.fit(train_x, train_y) # 学習
pre_y = lr.predict(test_x) # 予測

# 結果を図にプロット ---(*4)
plt.figure(figsize=(10, 6), dpi=100)
plt.plot(test_y, c='r')
plt.plot(pre_y, c='b')
plt.savefig('tenki-kion-lr.png')
plt.show()

Comments

[meg_]

デバッグしてみても理解出来ませんでしたか？ dの値を手計算すると良いかもしれません。

Answer 1

6日間の気温(x)から翌日の気温(y)を推定するので、教師データは一つのyと六つのxがセットになり、それがサンプル数分あります
中のforループは、一つのyに対応する六つのxを集めてます

変数iがyの位置、変数dがxの位置です
(位置とは、たくさんの気温のデータの中の何番目か、という意味)
変数pが0〜5と変わるので、dも変わります(i-6～i-1：yの6日前～yの前日)
ループでx用データを順番にxaにappendしてるので、中のforループが終わったら六つのx用データがxaに全部入ってます

中のループを抜けたらxaをxにappendしてます
中のループに入る前に既にyはappendされてますので、これでx, yのセットが1サンプル分揃います

これを外のループで必要なだけ繰り返します

Comments

[SatoshiMaruyama]

ありがとうございます。

「変数iがyの位置、変数dがxの位置です」

上記をヒントにして解決できました。

[SatoshiMaruyama]

追記もありがとうございます。参考になりました。

Answer 2

これは……サンプルが良くないと思います。確かに過去 6 日間だけを見に行ってますが、このコードである意味が全くありませんし、おそらく正しく動くコードではないのでしょうか。実際に動かしていないのでなんとも言えないのですが、見た感じ「スジ」の悪いコードだとはわかります。

Comments

[SatoshiMaruyama]

確かに、初心者が理解できるコードでは無いように感じました。

Answer 3

【概要】

「当日の気温」を予測する為、前日～5日前の気温データを使って予測する

【補足】

i=当日の気温
p=前日～5日前の気温データ

【詳細】

「①for i～」と、「②for p～」の関係性は以下の通り。

１．iが0～5までは、continue文によって、以降が全てスキップ（文頭に戻る）
２．iが6以上では（スキップされず）
２－１．y.appendで追加
２－２．さらに「②for p～」へ処理が進み、range(interval=6)、つまり6回ループ処理
２－３．「d = i + p - interval」は「i=6」で固定。「p=0～5」でループ。「interval=6」で固定。
２－４．x.append(xa)で追加

例）
「d = i + p - interval」⇒「d = 6 +（0～5）- 6」⇒「d = 6 +（0～5）- 6」⇒「d = 0～5」

上記となる。

# 過去6日分を学習するデータを作成 ---(*2)
def make_data(data):
    x = [] # 学習データ
    y = [] # 結果
    temps = list(data["気温"])
    for i in range(len(temps)):
        if i < interval: continue
        y.append(temps[i])
        xa = []
        for p in range(interval):
            d = i + p - interval
            xa.append(temps[d])
        x.append(xa)
    return (x, y)