常連

回答者

ベストアンサー

拍手喝采

救世主

自己紹介

状態空間モデルのパラメータをデータから推定する時、1つの時系列だけを使って行うのが多くの例で紹介されていますが、複数時系列データから1つの状態空間モデルのパラメータを推定することは可能なのでしょうか？

複数時系列というのは、例えばある車があって、車からは運転中のみセンサの時系列データが取れるような状況で、複数の運転時のデータを使って状態空間モデルを作るというような状況を想定しています。

状態空間モデルの構成を複数の時系列から行うことは可能でしょうか

### 前提・実現したいこと

tidyverseパッケージを使って、説明変数を3つ以上を含む回帰モデルの視覚化を試みています。
複雑になるのを避けるため、irisデータで試しています。
具体的には重回帰分析の結果を以下のように表現したいと思っています。
1. 番号リスト被説明変数（Sepal.Length）は、y軸にplot、
2. 番号リスト説明変数①（Sepal.Width）はｘ軸にplot、
3. 番号リスト説明変数②（Petal.Length）は**調整変数とみなして、図示しない**
4. 番号リスト説明変数③（Species）は```color=```で指定して表現
5. 番号リスト重回帰分析の結果であるpred(```add_predictions()```で生成)を用いて直線を引く


### 発生している問題・エラーメッセージ
上記のイメージでコードを作成したところ、図のようになってしまいます。
この問題について原因と解決策を御存じであれば御教示いただけますと幸いです。
![イメージ説明](e4f57f3318497ac318ce347def179a9c.jpeg)

### 該当のソースコード

```R
iris_lm <- lm(Sepal.Length ~ Sepal.Width+ Petal.Length+ Species, data = iris)
iris_pred <-
  data_grid(data = iris, Sepal.Width, Petal.Length, Species)%>%
  add_predictions(iris_lm)
ggplot(iris,aes(x=Sepal.Width))+
  geom_point(aes(y=Sepal.Length,color=Species))+
  geom_line(data=iris_pred,aes(y=pred,color=Species))
```

### 試したこと

説明変数を２つ（回帰式で表現するならば、y~α+β₁x₁+β₂x₂)にした際には、
下記のコードで思い通りの作図ができました。
２つ目の変数はcolor=で指定することでグラフ内で表現しています。

```R
iris_lm1 <- lm(Sepal.Length ~ Sepal.Width + Species, data = iris)
iris_pred1 <- 
  data_grid(iris, Sepal.Width, Species)%>%
  add_predictions(iris_lm1)
ggplot(iris,aes(x=Sepal.Width, y= Sepal.Length))+
  geom_point(aes(color=Species, shape = Species),alpha=0.8)+
  geom_line(data= iris_pred1, aes(y=pred,color=Species))

```
![イメージ説明](4f03851669b87d5ec2473a3c250bf14f.jpeg)
上記コードは```geom_line()```を```geom_smooth()```にしてformulaを記載する方法でも実現可能だと思います。しかし、その際説明変数を３つにすると```formula = y ~ x + z(?)```とするほかなく、```ggplot```での表現ができないように思います。

### 補足情報（FW/ツールのバージョンなど）
Rstudioで作成しています
『社会科学のためのデータ分析入門（上）』という本をもとにRを勉強しています。
教材の中では「不均一トリートメント効果（Heterogeneous Treatment Effects）」を検証するための方法として、回帰分析の結果をpredit()関数を使って視覚化しています。
今回は、そのやり方をもとにtidyverseやmodelrパッケージを使い、data.frame()を、data_grid()に、predict()をadd_prediction()に置き換えるなどして、上記書籍の練習問題を解いていたところ、質問をしております課題に直面し行き詰ってしまいました。
具体的には第4章の練習問題メキシコにおける選挙と条件付き現金給付プログラムの問題です。

説明変数を3つ以上含む回帰分析の視覚化ができません

線形判別分析をscikit-learnで実行する際、n_componetsを指定すると思いますが、この役割は、
「削減したい次元の数」ではなく、「変換後の次元の数」という認識であっていますか？

具体例として4つの説明変数と1つの目的変数、目的変数のクラスは3つであるケースを考えた時、
n_components=1とすると、説明変数の4次元を1次元に圧縮してくれる。
n_components=2とすると、説明変数の4次元を2次元に圧縮してくれる。
n_components=3とすると、説明変数の4次元を3次元に圧縮してくれる。
n_components=4とすると、説明変数の4次元を4次元にする（すなわち何もしない）
n_components=5以上とすると、何もしない。

しかし以前のteratailの質問では
https://teratail.com/questions/98774
によると、8つの説明変数を2次元にしたいけどできない質問者に対して、回答がn_components=3にしてくださいとなっています。

どういうことなのでしょうか？？
そもそも私の認識はあっているのでしょうか？

また、
https://haruchun.jp/lda/
このサイトでは3つのクラスに対して3本の決定境界が引かれていますが、、、
決定境界の数は(クラスの数-1)よりも大きくはならないはずなのではないのでしょうか？

線形判別分析のn_componentsについて

### 前提・実現したいこと
pythonで時系列データに対するARモデルの実装をしようとしています。
pythonを使って実際に測定した加速度データの予測をしようとしています。
ARモデルの実装について色々ネットで調べてみましたが日ごとの時系列データの予測に関するものしか見つかりませんでした。
私は日ごとではなく、時間ごとに加速度データの時系列データの予測がしたいと思っています。
その際、ARモデルの作成の際にエラーがでてしまい、対処法がわかりません。
以下はDataFrameの画像です。
![イメージ説明](e93799f569654dc87ecf9c2e7a178cba.png)


### 発生している問題・エラーメッセージ

```
'The `start` argument could not be matched to a location related to the index of the data.'
```

### 該当のソースコード

```python
df = pd.read_csv('20191121.csv')
df['time'] = df['time'].div(1000)
# df['time']をdatetime関数を用いて時刻に変換
df['Times'] = df['time'].apply(lambda x: datetime.timedelta(seconds=x))
# 余分なデータをDataFrameから削除
df = df.drop(['time', 'x_rad/s', 'y_rad/s', 'z_rad/s'], axis=1)

# TimesカラムをDataFrameのインデックスに設定
df = df.set_index('Times')
df.plot()

# ARモデルの作成
#train, testデータに分割
test = df['x_ags']['14:57:55.550000':]
train = df['x_ags'][:'14:57:55.530000']

# ARmodel
# fitすると、返り値としてARmodelのResultが返ってくる。
ar = AR(train).fit(maxlag=4, ic='aic')

#予測
ar_predict = ar.predict(start='14:57:55.550000',end='14:58:14.710000')

# plot
plt.plot(ar_predict)
plt.plot(test)

```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

PythonでのARモデルの実装の際のエラー

kerasでvgg16のImagenetを用いて転移学習を行っているのですが、例えば、猫と犬とその他の動物を分類する際にその他の動物の画像にたぬきとかきつねなど多種類の動物の画像を入れて転移学習をするのはあまりよろしくないのでしょうか。
どうかご教授お願いします。

転移学習の学習について

顔合成をするために、コードを書いていますが、複数枚画像があるため一度に画像処理を行おうと考えています。
エラーを探してみても、OutにFalseとのみ表示されてしまい解決策がわからないでいます。

このコードは、いろいろなサイトを真似て作ったものです。

初心者ですが、ご教示いただけますと幸いです。
よろしくお願いいたします。


```python
コードimport cv2
import dlib
import matplotlib.pyplot as plt
from PIL import Image
import numpy as np
import glob
import os

#インライン表示
%matplotlib inline

in_dir = "C:/Users/noza/LAB_lab/SNS_photo/*"
out_dir = "C:/Users/noza/LAB_lab/SNS_photo_sikaku/"
in_jpg=glob.glob(in_dir)
in_fileName=os.listdir("C:/Users/noza/LAB_lab/SNS_photo/")

for num in range(len(in_jpg)):
    image=cv2.imread(str(in_jpg[num]))
    if image is None:
        print("Not open:",line)
        continue
    
    image_gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)


detector = dlib.get_frontal_face_detector()
faces = detector(image)
 
for i, rect in enumerate(faces):
    cv2.rectangle(image, (rect.left(), rect.top()), (rect.right(), rect.bottom()), (255, 255, 0), thickness=2)
    #得られた顔の位置に矩形を描画
    
fileName=os.path.join(out_dir,str(in_fileName[num])+".jpg")
cv2.imwrite(str(fileName),image)
```

OutにFalseと出てしまい、原因がわからない

利用しているPCがCPUのため、GPUで機械学習を行いたいです。
[物体検出(goggle colab)](https://sleepless-se.net/2019/06/23/yolo-original-model-training-on-colab/)このサイトを参考にGoogle ColabでYOLOの機械学習を行いました。
以下のようなコマンドを実行しました。
```ここに言語を入力
!python train.py
```

すると学習が行われているのですが、CPUで行った学習と変わらない速度でした。

また、Google Colabでランタイムタイプの変更はGPUで保存されているにも関わらず、
下のほうに「GPUランタイムに接続していますが、GPUは使用されていません。」と警告が出ます。
なぜGPUが使用できないのでしょうか？？」

Google Colab （GPU）を用いたYOLOの機械学習

[参考](https://www.slideshare.net/takmin/building-highlevelfeatures)
"参考"の42枚目のスライドにある、
x*=argmax f(x;W,H)
この式についてがさっぱりです。これは何の最大値を取ることで、最も猫である式としているのでしょうか？
詳しい方ご教授いただければ幸いです。

Googleの猫の最適化された刺激の式の意味が分からない。

## やりたいこと
拡張機能のMonokai Proをインストールしたいのですが、設定内でエラーが出ていて反映できません

## エラー内容 
ポップアップで
×ユーザー設定に書き込めません。ユーザー設定を開いて、ファイル内のエラー/警告を修正してからもう一度お試しください。

となります

　## settings.json 
{
    "java.home": "C:\Program Files\JAVA\jdk-11.0.8",
    "editor.suggestSelection": "first",
    "vsintellicode.modify.editor.suggestSelection": "automaticallyOverrodeDefaultValue",
    "java.jdt.ls.vmargs": "",
    "files.exclude": {
        "**/.classpath": true,
        "**/.project": true,
        "**/.settings": true,
        "**/.factorypath": true,
    },
    "files.encoding": "shiftjis",
    "terminal.integrated.shell.windows": "C:\WINDOWS\System32\cmd.exe",
    "files.autoSave": "afterDelay",
    "python.languageServer": "Microsoft",
    "editor.fontLigatures": null,             //nullの部分
    "files.autoGuessEncoding": true,
    "editor.codeActionsOnSave": null,             //nullの部分

//nullの部分に赤~~~~が出てエラーになっています。

## 試したこと 
これ以降にした設定は削除、ソフトの再起動、tureへ変更"," や "{}"を追加などしてみました

---
よろしくお願いします

設定画面にエラーが出ていて新しく設定が出来ない

# seabornのfactorplotやbarplotでエラーが出る。

```
sns.factorplot(x="給与/交通費　備考", y="応募数 合計", data=train, kind='bar')
```
を実行すると以下のようなエラーが出てきます。

```
TypeError                                 Traceback (most recent call last)
<ipython-input-115-b38d4545c9af> in <module>()
----> 1 sns.factorplot(x="給与/交通費　備考", y="応募数 合計", data=train, kind='bar')

~\Anaconda3\lib\site-packages\seaborn\categorical.py in factorplot(x, y, hue, data, row, col, col_wrap, estimator, ci, n_boot, units, order, hue_order, row_order, col_order, kind, size, aspect, orient, color, palette, legend, legend_out, sharex, sharey, margin_titles, facet_kws, **kwargs)
   3489     # facets to ensure representation of all data in the final plot
   3490     p = _CategoricalPlotter()
-> 3491     p.establish_variables(x_, y_, hue, data, orient, order, hue_order)
   3492     order = p.group_names
   3493     hue_order = p.hue_names

~\Anaconda3\lib\site-packages\seaborn\categorical.py in establish_variables(self, x, y, hue, data, orient, order, hue_order, units)
    142                 x = data.get(x, x)
    143                 y = data.get(y, y)
--> 144                 hue = data.get(hue, hue)
    145                 units = data.get(units, units)
    146 

~\Anaconda3\lib\site-packages\pandas\core\generic.py in get(self, key, default)
   2472         """
   2473         try:
-> 2474             return self[key]
   2475         except (KeyError, ValueError, IndexError):
   2476             return default

~\Anaconda3\lib\site-packages\pandas\core\frame.py in __getitem__(self, key)
   2683             return self._getitem_multilevel(key)
   2684         else:
-> 2685             return self._getitem_column(key)
   2686 
   2687     def _getitem_column(self, key):

~\Anaconda3\lib\site-packages\pandas\core\frame.py in _getitem_column(self, key)
   2693 
   2694         # duplicate columns & possible reduce dimensionality
-> 2695         result = self._constructor(self._data.get(key))
   2696         if result.columns.is_unique:
   2697             result = result[key]

~\Anaconda3\lib\site-packages\pandas\core\internals.py in get(self, item, fastpath)
   4128 
   4129             if isna(item):
-> 4130                 raise TypeError("cannot label index with a null key")
   4131 
   4132             indexer = self.items.get_indexer_for([item])

TypeError: cannot label index with a null key
```

調べたところ、同じカラムが二つあったりすると出るエラーみたいですが、見当たりませんでした。
なにか心当たりがある方がいたら教えていただきたいです。

seabornでのグラフ表示でcannot label index with a null keyというエラーが出る

### CTGANを用いてテーブルデータの水増し

CTGANを用いてテーブルデータの水増しを行おうと考えています．
ただ，データセットの説明変数間で複雑な依存関係があり，十分にリアルなデータとは言えないデータセットを生成している現状です．


そのため，Generatorに対して何か事前知識を与えることができないかどうか知りたいです．
一例ですが，「身長」の説明変数に対して，「リアルなデータは150cm-190cmの間である」などです．


もちろんGANで学習をする過程である程度実現できますが，
CTGANではおそらく正規分布のようなものにしたがって生成しているので110cmなどの人間にとっては違和感のあるデータを生成してしまいます．

### 試したこと

学習のEpoch数は増加させましたが，増やしても効果は見られませんでした．


### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

CTGANによるデータセットの水増し

### やりたいこと

cifar10のdataseを使ってチュートリアルをもとに精度クラスごとに出すことに成功しました。

それでいて、次にやろうと思っているのは、その各クラスが本当にあっているかを確かめたくてconfusion_matrixでの比較を行いたいと考えています。

いくつか見ていると、sklearnのconfusion_matrics（正解ラベル,予測ラベル）を使うとできるらしいということがわかりました。引数は正解と予測のラベルだということがわかりました。

しかし、実際にpytorchで出した、正解ラベル（list）と予測ラベル(list)をどのようにして出したらいいのかわかりません。

そのほか、以下codeのsklearnのようにデータセットをx,yでスプリットできたらいいのですが,,,やり方がわかりません。
```python
from sklearn import svm, datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import plot_confusion_matrix

iris = datasets.load_iris()
X = iris.data
y = iris.target
class_names = iris.target_names

# Split the data into a training set and a test set
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
```
以下に理想図をのせます（こんな感じになってほしい）
```
array([[806,  28,  52,  12,  16,   1,   9,   7,  43,  26],
       [ 47, 832,   4,   4,   1,   0,  18,   1,  15,  78],
       [ 95,   8, 474,  47, 146,  33, 131,  34,  10,  22],
       [ 31,  18,  55, 478,  85,  90, 144,  45,  19,  35],
       [ 43,   4,  37,  37, 686,   5, 115,  64,   5,   4],
       [ 24,   6,  36, 181,  92, 443,  96,  87,  12,  23],
       [ 12,   3,  28,  39,  25,   6, 873,   4,   6,   4],
       [ 45,  12,  18,  30,  87,  20,  23, 732,   5,  28],
       [137,  43,   9,   9,  13,   0,   8,   2, 752,  27],
       [ 81, 164,   5,  11,   4,   1,  12,  11,  16, 695]])
```
![イメージ説明](e388aaed2a970311c2f7f80710c9f508.png)


### 実際のコード＋結果
長いので、該当箇所を貼っていきます。（もし、このほかに需要な箇所があればご指摘くだされば添付いたします。）

```
class_correct = list(0. for i in range(10))
class_total = list(0. for i in range(10))
with torch.no_grad():
    for data in testloader:
        images, labels = data
        images, labels = images.to(device), labels.to(device) 
        outputs = net(images)
        _, predicted = torch.max(outputs, 1)
        # print(classes)
        c = (predicted == labels).squeeze()
        for i in range(4):
            label = labels[i]
            # print(label)
            class_correct[label] += c[i].item()
            # print(class_correct[label])
            class_total[label] += 1


for i in range(10):
    print('Accuracy of %d %5s : %2d %%' % (i,classes[i], 100 * class_correct[i] / class_total[i]))

from sklearn.metrics import confusion_matrix
from sklearn.metrics import plot_confusion_matrix
cm = confusion_matrix(class_correct, class_total)
print(cm)
disp = plot_confusion_matrix(cm)
plt.show()


```

実行結果

```
Accuracy of 0 plane : 71 %
Accuracy of 1   car : 77 %
Accuracy of 2  bird : 29 %
Accuracy of 3   cat : 57 %
Accuracy of 4  deer : 49 %
Accuracy of 5   dog : 30 %
Accuracy of 6  frog : 62 %
Accuracy of 7 horse : 69 %
Accuracy of 8  ship : 72 %
Accuracy of 9 truck : 72 %
[[0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 1]
 [0 0 0 0 0 0 0 0 0 0 0]]
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-24-bfa9f43d16cb> in <module>()
     24 cm = confusion_matrix(class_correct, class_total)
     25 print(cm)
---> 26 disp = plot_confusion_matrix(cm)
     27 plt.show()
     28 

TypeError: plot_confusion_matrix() missing 2 required positional arguments: 'X' and 'y_true'
```
### 最後に
以上のことから、matricsの図を描くためのヒントのようなものでもいただければ助かります。
特に自分のコードにおける予測ラベルと、正解ラベルのセットがどこにあるかが認識できればmatrixがかけるのでは？とかってに思っています。
また、x,yの座標が取得できればそれをもとに図としておこすことができるのではないかと思っています。

ですので、アドバイスを頂ければと思います。

どうかよろしくお願いします
### 参考url
[0.　実際のpytorch-cifar10のチュートリアルのリンクです。コードはほぼ丸パクリで、最後のところを修正しようとしています。](https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html)

[１．pytorch-cifar10からconfusion_matrixまで出している記事。だけど自分のコードのどこを修正すればいいかがわからなかった（絶対参考になるはず）](https://www.kaggle.com/uvxy1234/cifar-10-implementation-with-pytorch)

CIFAR10のチュートリアルをpytorchでやってみてそれを発展させてクラスごとのconfusion_matrixを作りたい

独自画像を用いて機械学習用のデータセットの作り方、回帰分析の仕方を知りたいです。
下記2点の方法を教えていただきたいです。

#１）データセットの作り方について
MNIST等の書籍で載っている分類問題はkerasを用いて一通りやりました。
また、犬、猫のような2項分類については、trainフォルダの下に犬フォルダ、猫フォルダを作り、
その中に集めた画像を入れて、VGG16をファインチューニングして分類するというところまではなんとかできます。

次のステップとして、画像から回帰分析を実施してみたいです。
自分で集めた画像（例えば料理画像やスナップ写真）と、連続値の目的値（例えばカロリー値や体重）を組み合わせて、
回帰分析し、最終的には画像だけから目的値を推測できるようにしたいです。

ところがインターネットで調べても、画像から回帰分析する際のデータセットの作り方が見つけられませんでした。
一つのフォルダの中に、ＪＰＧデータ（例えば001.jpg、002.jpg、003jpg、、、、）と、
1列目にＪＰＧデータ名（例えば001.jpg、002.jpg、003jpg、、、、）、
2列目に目的値（例えば100kcal、200kcal、249kcal、230kcal、、、）のように入力したｃｓｖファイルを作って保存すればデータセットとなるのでしょうか。



#２）回帰分析の仕方について
上記データセットができた上で、どのように取り込み、回帰分析するのかコードをご教示いただけますと幸いです。
2項分類の際には最後の出力層がsigmoidになっていて、それを使わない～くらいまでは理解しているのですが、
実際コードとなると分からず困っております。


#３）参考にしたサイト
下記は見てみましたが、上記の目的を達することができませんでした。
https://qiita.com/ha9kberry/items/314afb56ee7484c53e6f
https://pchun.work/keras%E3%81%A7%E5%9B%9E%E5%B8%B0/
https://cookie-box.hatenablog.com/entry/2017/08/15/001805
https://colab.research.google.com/drive/11YwK8GDlt1KDxd3zBOkfcoqWsMfdvWTH
→こちらのサイトはカロリーが出ますが、すしなら〇〇kcalと決まった値が出てくるので、回帰でないと思っています。





また、上記のようなことを行うためにその他参考となるサイトや書籍があればご紹介いただけますと幸いです。

自前画像を用いた回帰分析を行いたい

### 前提・実現したいこと

tensorflowで作成した3層auto encoderのモデルに対して，重みを.h5, .pickleで保存しております．
この重みを用いて，ある入力に対する中間層（2層目）時点での出力結果を確認したいです．

入力と出力のユニット数は100層（仮），中間層ユニット数は50層（仮）としています．

Kerasの公式ドキュメントを読みましたが，よく理解できませんでした．
https://keras.io/ja/getting-started/faq/#_1

### 発生している問題・エラーメッセージ

```python
Traceback (most recent call last):
  File "h5_read.py", line 21, in <module>
    get_3rd_layer_output = K.function([model.layers[0].input],
IndexError: list index out of range

```

### 該当のソースコード

```python
data = pd.read_csv('hogehoge.csv', sep=",", header=None)
'''
with open("hogehoge" + ".pickle", mode="rb") as f:
    data = pickle.load(f)
'''
model = Sequential()
model.load_weights("hogehoge" + ".h5", by_name=True)

print(len((weightdata)))
for i in str(len((weightdata))):
    print([len(v) for v in weightdata])

>> 4
>>[100, 50, 50, 100]

from keras import backend as K

# with a Sequential model
get_3rd_layer_output = K.function([model.layers[0].input],
                                  [model.layers[3].output])
layer_output = get_3rd_layer_output([data])[0]

```

### 試したこと

pickleファイルの回答の方も試しましたが，うまくいきませんでした．
とにかく公式ドキュメントで開設されている仕組みが理解できず，何をどこに代入すればいいのかわかりません．
漠然とした質問で申し訳ないのですが，よろしくお願いいたします．

kerasで保存した重みを用いて中間層の出力結果を確認したい

CNNで畳み込み処理後・プーリング後の特徴マップの可視化を行いたいのですが，
調べてみると，VGG16をロードしてから特徴マップを可視化しているサイトばかりで，
いまいち具体的なコードの書き方が分かりません。
```
import matplotlib.pyplot as plt
import os
import cv2
import random
import numpy as np
import tensorflow as tf
from sklearn.model_selection import train_test_split
import time
import feature_visual
import filter_visual

DATADIR = "aa"
CATEGORIES = ["z2","x2"]
IMG_SIZE = 28
training_data = []
def create_training_data():
    for class_num, category in enumerate(CATEGORIES):
        path = os.path.join(DATADIR, category)
        for image_name in os.listdir(path):
            try:
                img_array = cv2.imread(os.path.join(path, image_name), cv2.IMREAD_GRAYSCALE) 
                img_resize_array = cv2.resize(img_array, (IMG_SIZE, IMG_SIZE))  
                training_data.append([img_resize_array, class_num])  
                
            
            except Exception as e:
                pass
create_training_data()
random.shuffle(training_data)  
X_train = [] 
y_train = [] 

for feature, label in training_data:
    X_train.append(feature)
    y_train.append(label)

X= np.array(X_train)
y= np.array(y_train)

x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.20)

x_train, x_test = x_train / 255.0, x_test / 255.0　　　　　　　　　　　　　# データセットの準備



model = tf.keras.models.Sequential()
model.add( tf.keras.layers.Reshape((28, 28, 1), input_shape=(28, 28)) ) 
model.add( tf.keras.layers.Conv2D(16, (3, 3), activation='relu') )  
model.add( tf.keras.layers.Conv2D(32, (3, 3), activation='relu') ) 
model.add( tf.keras.layers.MaxPooling2D(pool_size=(2,2)) ) 
model.add( tf.keras.layers.Dropout(0.5) )           
model.add( tf.keras.layers.Flatten() )                                
model.add( tf.keras.layers.Dense(128, activation='relu') )
model.add( tf.keras.layers.Dropout(0.25) )
model.add( tf.keras.layers.Dense(2, activation='softmax') )
    
    

model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['accuracy'])　　　　　　　　# モデルの学習
model.fit(x_train, y_train, batch_size=256, epochs=40)


loss, accuracy1 = model.evaluate(x_test,  y_test, verbose=2)　　　　　　　　　　# モデルの検証

コード
```
現状のコードは上記のようになっております。このコードに特徴マップを可視化させ，ヒートマップで出力させるコードを追加したいです。
どなたかよろしくお願いいたします。

CNN 特徴マップの可視化

**やりたいこと**

google colabratoryより、googleドライブ上にあるフォルダ(フォルダ名：file)にアクセスをして、中にある画像ファイル(拡張子：jpg)を表示させたい。

**行なったこと**
```python
from google.colab import drive
drive.mount('/content/drive')
```

```python
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
```
以下のサイトを参考にしながら、途中まで行なった(上のところまでは上手くいった)が、ファイルを参照して画像ファイルの表示までうまくいかない。
[参照サイト](https://qiita.com/uni-3/items/201aaa2708260cc790b8)

google ドライブ上にあるフォルダ(中身：画像ファイル)を参照したい

##  google colaboratry を利用して、YouTubeの動画をgoogleドライブ上にダウンロードしたいのですが、うまくいきません。最後のstream.download(VIDEO_DIRECTORY)のところで、エラーが出てしまいます。何回も見直してのですが、間違いの箇所が見つけることができないです。ドライブ上に保存するためのパスの指定方法を教えてください。



```python
!pip install pytube3==9.6.4 --upgrade
from pytube import YouTube
video_url =" https://www.youtube.com/watch?v=FcXt2GUMXEI"
yt = YouTube(video_url)
fps = 30
resolution = '720p'

yt.streams.filter(fps=fps, resolution=resolution).all()

stream = yt.streams.get_by_itag(22)

from google.colab import drive
drive.mount('/content/drive')

VIDEO_DIRECTORY = "/content/drive/My Drive/Colab Notebooks/youtube/001"
stream.download(VIDEO_DIRECTORY)
```

```
OSError: [Errno 22] Invalid argument: 
```

google colaboratry でのパスの設定がわかりません。

### 前提

以下のような三次元のデータセット(座標x,座標y,座標z,値w)があります。
(2020/09/01:データセットをテスト用に変更しました。)

```test2
   1.0000000000000000        1.0000000000000000        1.0000000000000000      -0.13158839827673241     
   2.0000000000000000        1.0000000000000000        1.0000000000000000       0.71925334812124575     
   3.0000000000000000        1.0000000000000000        1.0000000000000000       0.78471142747083489     
   1.0000000000000000        2.0000000000000000        1.0000000000000000       0.80090268277584165     
   2.0000000000000000        2.0000000000000000        1.0000000000000000       0.47791159839320740     
   3.0000000000000000        2.0000000000000000        1.0000000000000000      -0.66020035502971153     
   1.0000000000000000        3.0000000000000000        1.0000000000000000       0.59567696265775649     
   2.0000000000000000        3.0000000000000000        1.0000000000000000       0.63414183529888790     
   3.0000000000000000        3.0000000000000000        1.0000000000000000      -0.76203127712058638     
   1.0000000000000000        1.0000000000000000        2.0000000000000000      -0.86357330388007059     
   2.0000000000000000        1.0000000000000000        2.0000000000000000      -0.77094770683230540     
   3.0000000000000000        1.0000000000000000        2.0000000000000000      -0.38407329315880157     
   1.0000000000000000        2.0000000000000000        2.0000000000000000      -0.77643663058440127     
   2.0000000000000000        2.0000000000000000        2.0000000000000000       0.29485883547339098     
   3.0000000000000000        2.0000000000000000        2.0000000000000000      -0.90345817476125856     
   1.0000000000000000        3.0000000000000000        2.0000000000000000       0.11249311806459295     
   2.0000000000000000        3.0000000000000000        2.0000000000000000      -0.69983754858836478     
   3.0000000000000000        3.0000000000000000        2.0000000000000000      -0.41968109538305576     
   1.0000000000000000        1.0000000000000000        3.0000000000000000      -0.67405952831591942     
   2.0000000000000000        1.0000000000000000        3.0000000000000000       0.17664524847097818     
   3.0000000000000000        1.0000000000000000        3.0000000000000000       0.40055391690706688     
   1.0000000000000000        2.0000000000000000        3.0000000000000000       0.54128168000403831     
   2.0000000000000000        2.0000000000000000        3.0000000000000000       0.13337159555716704     
   3.0000000000000000        2.0000000000000000        3.0000000000000000       0.61191841485256293     
   1.0000000000000000        3.0000000000000000        3.0000000000000000       0.19400358833232989     
   2.0000000000000000        3.0000000000000000        3.0000000000000000      -0.32331996535028329     
   3.0000000000000000        3.0000000000000000        3.0000000000000000      -0.29791180540293261    
```

このデータを三次元プロットを行うことを考えます。プロット自体はscatter()を用いて以下のように行うことができました。コードは以前に質問させていただいた（[matplotlib：三次元ベクトル場に着色をしたい](https://teratail.com/questions/288509)）を参考にしています。

```python3
#matplotlib inline
import matplotlib
import matplotlib.pyplot as plt
import numpy as np
from mpl_toolkits.mplot3d import axes3d
from scipy import interpolate


plt.style.use('ggplot')
plt.rcParams["axes.facecolor"] = 'white'
fig = plt.figure()
ax = fig.gca(projection='3d')
cm = matplotlib.cm.viridis

x = []
y = []
z = []
w = []

f  = open('test2.d')
for line in f:
    data = line.split()
    x.append(float(data[0]))
    y.append(float(data[1]))
    z.append(float(data[2]))
    w.append(float(data[3]))
f.close()



ax.set(xlabel='x',ylabel='y',zlabel='z')
ax.scatter(x, y, z, color=cm(0.5*np.array(w)+0.5),s=150,marker='o',alpha=1.0)
plt.savefig('vector_3d.png' , dpi = 120)
plt.show()
```

結果は以下のようになります。
![イメージ説明](558cb2b6b4bcf2bfc3ff096da5f4b106.png)

###実現したいこと
xyz空間中にある各点の値どうしを補間してプロットを行いたいと考えています。
このとき補間はなるべく細かく行い、できるだけ連続した面に見えるように行いたいです。

###調べたこと
二次元系に対しては[Python : 2d contour plot from 3 lists : x, y and rho?](https://stackoverrun.com/ja/q/2346376)などのようにscipy.interpolateを行えばできそうです。これと同じようなことを今回のような3次元の系に対しても行いたいです。

詳しい方がいらっしゃればよろしくお願いします

###追記
具体的には以下のようなイメージです。
写真のように、補間を各面上にある点に対して行う(下の画像中の黒の点を追加する、実際の色は値wで補間しているためグラデーションになるはずです。)ことで、連続な一つの面に見ることができます。
これと同じ操作を他の５面に対しても行うことで、外側から見た分には値wで連続した面が見えるようになるかと思います。今回は内部の点に関しては補間を適用していただかなくて大丈夫です。

![イメージ説明](e12154b9f8afe89f8f7017e53f30f115.png)

matplolib：三次元のデータを補間してプロットを行いたい

グリッドサーチでは、epoc数の増加などに対する、accuracyやlossの変化をグラフ表示できないのでしょうか？

グリッドサーチでなければ、以下のようにグラフ表示できるようです。

お詳しい方、ご指導をお願いいたします。
```ここに言語を入力
import matplotlib.pyplot as plt

# 正解率の推移をプロット
plt.plot(hist.history['acc'])
plt.plot(hist.history['val_acc'])
plt.title('Accuracy')
plt.legend(['train', 'test'], loc='upper left')
plt.show()
# ロスの推移をプロット
plt.plot(hist.history['loss'])
plt.plot(hist.history['val_loss'])
plt.title('Loss')
plt.legend(['train', 'test'], loc='upper left')
plt.show()
```
![イメージ説明](de7300d8873f9d5faccae21398d6199a.jpeg)

グリッドサーチは学習過程をグラフ表示できない？

### 前提・実現したいこと
Rのrpart関数で分析した回帰木について、
printcp()、plotcp（）で出力される
nsplit、xerror、x-val Relative Errorの三種類について、どのように見ればよいかアドバイスをいただけないでしょうか。

printcpで下記の結果が得られています。
-
Regression tree:
rpart(formula = dis ~ A + B + C + D + E + F + G + H + I + s, data = df, control = rpart.control(minsplit = 3, cp = 0.02))
Variables actually used in tree construction:[1] A B C E G H I
Root node error: 2967.3/313 = 9.4801
n= 313 
　CP nsplit rel error xerror    xstd
1 0.044920      0   1.00000 1.0036 0.13452
2 0.035167      2   0.91016 1.0677 0.15093
3 0.032239      6   0.76949 1.0513 0.14980
4 0.021988      7   0.73725 1.1001 0.16026
5 0.020104      8   0.71526 1.0559 0.15687
6 0.020000      9   0.69516 1.0794 0.15861

ここでnsplitは何を表しているのでしょうか？
ネットで検索すると「木のサイズ」とありますが、0,2,6,7,8,9ととびとびの値になっていたり、見方がよくわかりません。

また、xerrorも同様に何を表しているのでしょうか？
各階層の誤差率と認識していますが、エラーの確率すなわち０に近い方が誤差が小さいと解釈してあっているのでしょうか？

plotcp()で添付のグラフの結果が得られております。
ここでX-val Relative Errorとは何を表しているのでしょうか？
各階層の誤差率と解釈していますが、1.0を超える階層もあり、上記のxerror（xerror+xstd？）とは異なるものなのでしょうか。


### 該当のソースコード

```R
library(rpart)
library(partykit)
library(ggplot2)
library(ggparty)

df <- read.csv("2_C1.csv",header=T)

head(df)

rt <- rpart(displacement ~  A+B+C+D+E+F+G+H+I+shiho , data = df, control=rpart.control(minsplit=3,cp=0.02)  )

prt <- as.party(rt)
g <- ggparty(prt, terminal_space = 0.35) #グラフ部分が全体の何割を占めるか（下から）
g <- g + geom_edge(size = 2) #分岐線の太さ
g <- g + geom_edge_label(colour = "black", size = 4.5)#分岐の文字の大きさ
g <- g + geom_node_plot(
  gglist = list(geom_boxplot(aes(x="",y=displacement)),theme_bw(base_size =13)), #縦軸の文字の大きさ
   scales = "fixed",
   id = "terminal",
   shared_axis_labels = TRUE,
   shared_legend = TRUE,
   legend_separator = TRUE,
 )

g <- g + geom_node_label(
   aes(col = splitvar),
   line_list = list(aes(label = paste("Node", id)),
                    aes(label = splitvar)),
   line_gpar = list(list(
     size = 8,         #Nodeの文字の大きさ
     col = "black",
     fontface = "bold"
   ),
   list(size = 14)), #変数Aとかの文字の大きさ
   ids = "inner"
 )

g <- g + geom_node_label(
   aes(label = paste0("Node ", id, "\n N = ", nodesize)),
   fontface = "bold",
   ids = "terminal",
   size = 2.5,  #グラフの上のタイトルの大きさ
   nudge_y = 0.01 #グラフとタイトルの幅
 )

g <- g + theme(legend.position = "none")
plot(g)
#plotcp(rt)でcross validationの結果を表示。横の点線を下回ってるところのcpにセットするとよい
#plot(rt)
#text(rt, use.n=TRUE, cex=0.5) でもok
#plot(as.party(rt)) でもok　みづらい
#printcp(rt)で交叉検証の結果
#plotcp(rt)で交叉検証のグラフ

```

### 試したこと
https://www1.doshisha.ac.jp/~mjin/R/Chap_19/19.html
ここでいろいろ解説されているのですが、
「nsplit は木のサイズ」とあるのですが、意味がよくわかりません。サイズとは具体的にどこを見ればわかるのでしょうか。
「xerror は交差確認法による誤分類率の平均値」とあるのですが、つまり誤差の確率（＝小さい方が誤差が小さい）ということでしょうか。


### 回帰木とplotcpの結果
![![イメージ説明](70e78836761eea5796dcafed91343c66.jpeg)]
![イメージ説明](ad05506b7dcccd1b67770793fb7b1fcf.jpeg)

ここにより詳細な情報を記載してください。