常連

注目の的

社会貢献

質問力

U-Netを使用したセマンティックセグメンテーションについての質問です。
現在、自作データを用いて、セマンティックセグメンテーションに取り組んでいるのですが、損失関数の値が0.75、ダイス係数が0.25で停滞してしまいます。
理由がわかりそうな方がいらっしゃいましたらご教授ください。

バッチ数やエポック数、学習率を変化させてもあまり変化が見られませんでした。
学習データは850枚ほど作成し、最適化アルゴリズムにはAdam、評価関数にはダイス係数、損失関数は（1-(ダイス係数)）を使用し、対象物体と背景との２クラス分類をしています。

深層学習における損失関数の値の停滞について

一営業日前の日付を調べてその日の売上金を抽出したいです。

使っている機種はAS400のデータ転送時にIBMiからの転送でつかっているsqlです。

自分が考えたsqlはこのような感じですが、うまく通りません
```sql
select t1.月日,t1.担当者コード,t1.本日売上
from 売上 t1
where t1.月日（3,4桁 例4月1日→401） =
(select date_format(t2.西暦日（8桁）,%c%d)
from カレンダーマスタ t2
where t2.自社営業日 = 1 and t2.西暦日（8桁）< now()
order t2.西暦日 desc);

参考用レコード
CREATE TABLE　売上表(
　月日
　担当者コード
　本日売上
　本日粗利
　当月売上
　当月粗利
　当期売上
　当期粗利
　前年同日月間売上
　前年同日月間粗利
　前年同日年間売上
　前年同日年間粗利
　本部コード
　営業所コード
　部コード
　課コード
)
CREATE TABLE カレンダーマスタ(
　DATE NO.
　和暦日
　元号ID
　表示日(6)
　西暦日(8)
　西暦日(6)
　曜日
　祝祭日
　自社営業日
　作成日
　作成時刻
　最終更新日
　最終更新時刻
)
```

今日以前でかつ自社営業日が1である日の1件目（一営業日前）を使ってその日の売上金を抽出するということです。
売上の月日（3,4桁%c%d）とカレンダーマスタの西暦日（8桁YYYYMMDD）は表示形式が違うのでカレンダーマスタの西暦日はdate_formatで3,4桁の日付形式%c%dに変更する魂胆です。

よろしくお願いします。

一営業日前の日付を使ってその日の売上高を抽出したい

現在、下記のようなデータフレームがあり

```python
df = pd.DataFrame([[1, '太郎', 'ばなな', 1],
                   [1, '太郎', 'いちご', 2],
                   [1, '太郎', 'メロン', 3],
                   [2, '次郎', 'ばなな', 1],
                   [2, '次郎', 'メロン', 3],
                   [2, '次郎', 'すいか', 4],
                   [3, '花子', 'いちご', 2],
                   [3, '花子', 'メロン', 3],
                   [3, '花子', 'みかん', 5]],
                columns=['id','name','item','sort'])

```

|id|name|item|sort|
|--:|:--:|:--:|:--:|
|1|太郎|ばなな|1|
|1|太郎|いちご|2|
|1|太郎|メロン|3|
|2|次郎|ばなな|1|
|2|次郎|メロン|3|
|2|次郎|すいか|4|
|3|花子|いちご|2|
|3|花子|メロン|3|
|3|花子|みかん|5|

下記の横持ちのデータに加工したいと思っています。
※items数はMax 3 とします。

|id|name|item01|item02|item03|
|--:|:--:|:--:|:--:|
|1|太郎|ばなな|いちご|メロン|
|2|次郎|ばなな|メロン|すいか|
|3|花子|いちご|メロン|みかん|

Pandas によって、縦持ち横持変換を pivot_table を使用して加工しようと思っていましたが、下記のようになるため、そもそも pivot でやること自体が間違っている気がしております。

```python
df.pivot_table(index=['id'], columns=['item'])
```

|item|いちご|すいか|ばなな|みかん|メロン|
|--:|:--:|:--:|:--:|
|id|||||
|1|2.0|NaN|1.0|NaN|3.0|
|2|NaN|4.0|1.0|NaN|3.0|
|3|2.0|NaN|NaN|5.0|3.0|


アドバイスございましたら、よろしくお願いします。

Pnadasによる縦持ち⇒横持ちデータ構造変換

```
from ipywidgets import Button
btn_A = Button(description='スタート')
def number(btn):
    p=input("数字入力")
    print(p)
btn_A.on_click(number)
btn_A
```
上のプログラムをjupyter notebookで実行して、出てきた「スタート」のボタンを押しますと、

```
EOFError                                  Traceback (most recent call last)
<ipython-input-131-00085de1123b> in number(btn)
      2 btn_A = Button(description='スタート')
      3 def number(btn):
----> 4     p=input("数字入力")
      5     print(p)
      6 btn_A.on_click(number)

EOFError: EOF when reading a line

```
というエラーが発生してしまい、数字を入力することができません。
(そもそも入力欄すら出ない状況です。）
どうすればよいか教えていただけないでしょうか。
よろしくお願いします。

Pythonのinput()のEOFErrorについて

### 前提・実現したいこと

現在「Pythonクローリング＆スクレイピング データ収集・解析のための実践開発ガイド」を読みながらクローリング・スクレイピングの勉強をしています。基礎的なことをオンラインで勉強しただけの初心者です。

正規表現でのスクレイピングについて書籍通り？実行しても何も結果が出ず、
https://teratail.com/questions/176253
こちらなどを参考にしてもわからないため質問させていただきました。

### 書籍の内容
![イメージ説明](119c7c38b4c6e1ea38d3a03eecff4ff4.png)
![イメージ説明](10ca24192571076a92da7278aadd44c5.png)

```scrape_re.py
import re
from html import unescape

with open('dp.html') as f:
    html = f.read()

for partical_html in re.findall(r'<a itemprop="url".*?</ur>\s*</a><li>', html, re.DOTALL):
    url = re.search(r'<a itemprop="url" href="(.*?)">', partical_html).group(1)
    url = 'http://sample.scraping-book.com/dp' + url

    title = re.search(r'<p itemprop="name".*?</p>', partical_html).group(0)
    title = title.replace('<br/>', '')
    title = re.sub(r'<.*?>', '', title)
    title = unescape(title)

    print(url, title)

```
ターミナルでの実行結果がこちらになります。
![実行結果](fa63546954b83266e4fd231cdd98dc16.png)

また、直接今回のエラーとは無関係かもしれませんが、そもそも書籍の流れによれば 'scraping/'ディレクトリを仮想環境として作業しているのですが諸々のpyファイルや、今回クローリングしてきたdp.htmlファイルは一つ上の階層に置いています。
特に書籍で指示はなかったのですが（見落としてるだけかもしれません）、scrapingの中に置くと下記のようなエラーが出るため試行錯誤して上の階層に置きましたがこれは正しいでしょうか？
違和感があるのでこちらも合わせて質問させていただきました。

```エラー
/usr/local/Cellar/python/3.7.2_2/Frameworks/Python.framework/Versions/3.7/Resources/Python.app/Contents/MacOS/Python: can't open file 'scrape_re.py': [Errno 2] No such file or directory
```

乱文の上、質問が多岐に渡ってしまいましたが解決方法についてご教授いただけないでしょうか？

正規表現を使ったスクレイピングがうまく動作しない

任意の容量でファイル（写真or動画）をフォルダに分けたく以下のコードを書いてみました。
```python3
usern = 'YaKa'
mypath = 'C:/Users/'+ usern +'/Pictures/test-pic-folder/'
dvdsize = 10000000

import os
import shutil

for i in '123456789':
    os.mkdir(mypath + i)
    files = os.listdir(mypath)
    size = 0
    for f in files:
        if os.path.isfile(mypath + f):            
            size += os.path.getsize(mypath + f)
            if size < dvdsize:
                shutil.move(mypath + f, mypath + i)
```
一応目的どおり動くようですが、for i in '123456789': だとフォルダの数が限られるし、ファイル数によっては無駄なフォルダが生じます。
ファイル数に応じられる構造にしたいのですがどうすればよいでしょうか？

ファイル数に応じてfor文を動かしたい

ウィンドウを２つ表示させて、例えば片方のウィンドウにあるスライダーを動かした時にもう片方のグラフが動くようなプログラムを作りたいです。
```python
class Test:
    def __init__(self):
        self.fig1 = plt.figure(figsize=(4, 3))
        self.parameter = plt.axes([0.1, 0.05, 0.8, 0.1])
        self.p_slider = Slider(self.parameter, 'P', -1, 1, valinit=0)
        self.p_slider.on_changed(self.update)

        self.fig2 = plt.figure(figsize=(4, 3))
        self.ax = self.fig2.add_subplot(1,1,1)
        self.l6, = self.ax.plot([],[])
        plt.show()

    def update(self,val):
        self.l6.set_data([0, self.p_slider.val],[0, self.p_slider.val])
        plt.draw()

if __name__ == '__main__':
    main = Test()
```
上記のようなコードを書いてみましたがうんともすんとも言いませんでした。
しかし、下記のようにウィンドウを一つにすれば動きました。
```python
class Test:
    def __init__(self):
        self.fig1 = plt.figure(figsize=(4, 3))
        self.parameter = plt.axes([0.1, 0.05, 0.8, 0.1])
        self.p_slider = Slider(self.parameter, 'P', -1, 1, valinit=0)
        self.p_slider.on_changed(self.update)

        self.ax = self.fig1.add_subplot(1,1,1)
        self.l6, = self.ax.plot([],[])
        plt.show()

    def update(self,val):
        self.l6.set_data([0, self.p_slider.val],[0, self.p_slider.val])
        plt.draw()

if __name__ == '__main__':
    main = Test()
```

どなたか良い方法ご存知でしょうか？

matplotlibを用いた異なるウィンドウ間でのインタラクティブプロット

#やりたいこと
Kaggleで以下の問題に取り組んでいます。
https://www.kaggle.com/pmarcelino/comprehensive-data-exploration-with-python/comments

機械学習にデータを投げるためにデータフレームをダミーデータに変換しました。そして、学習機に投げたはいいものの、テストデータをダミーデータに変換した際に、列数が合わなくなってしまいテストを行うことができません。そこで、二つのデータフレームを比較し、テストにない列を追加し、0で埋めるようにしたいです。

以下、該当コードになります。

```python
import pandas as pd
df_train = pd.read_csv('./train.csv')
df_train = pd.get_dummies(df_train)
#column:221

X_train  = df_train.drop('SalePrice', axis=1)
Y_train  = df_train['SalePrice']

from sklearn import linear_model
clf_er= linear_model.ElasticNet(alpha=1.0, l1_ratio=0.5)
clf_er.fit(X_train, Y_train)

df_test = pd.read_csv('./test.csv')
df_test = pd.get_dummies(df_test)
#column:206
```

今回はあるデータを全て数値化して学習させようとしていますが、高性能な学習機を作成する際に、説明変数は目的変数との相関が高いものを5や6個厳選して学習させた方がいいのでしょうか?

今回のデータ数は1500個ぐらいです。

pandas で二つの DF を比較して足りない column を補完したい

### 前提・実現したいこと
（x,y）のtensorをn回繰り返し取得し、（n,x,y）の形でtensorを取得したい

Pytorchを用いて、for文で（x,y）のtensorをn回取得する処理を書いたのですが、このベクトルを繰り返し追加していき最終的に(n,x,y)の形のtensorとしたいのですが、この方法がわからず困っています。



### 発生している問題・エラーメッセージ

```
AttributeError: 'Tensor' object has no attribute 'append'

TypeError: cat(): argument 'tensors' (position 1) must be tuple of Tensors, not Tensor

```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

n個のベクトルを１つにまとめるという意味で、空のリストにappendすることを試みましたが、tensorには使用できないとのことでした。
cat()やstack()を使うのかとも思いましたが、思うように取得できていません。。。

### 補足情報（FW/ツールのバージョンなど）

pytorchのバージョンは0.4.0です。

pytorch tensorの追加/結合について

R markdownを普通に日本語で打っていて、html化させたら、日本語部分が全て?となり文字化けしました。

ネットに書いてあった文字化けを直す方法として
File → Reopen with Encoding... → shiftJISをUTF-8に変更
File → Save with Encoding... → UTF-8をShiftJISに変更
という手続きを行ったら、今度はhtml化前の書き込み段階から日本語が文字化けしてしまいました。

解決方法を知っている方、どうかよろしくお願い致します。