常連

テラテイラー

回答者

ベストアンサー

拍手喝采

プロフェッサー

先生

メンター

情報収集家

支持者

自己紹介

有名人

お世話になっております。
k-分割交差検証後に使用するモデルについて教えてください


①検証が完了した時に使用するモデルはどれなのか
---
k-分割交差検証を行い、いずれのモデルでもテストデータで十分な精度のモデルが作成できた場合、
運用時に使用するモデルはどれでしょうか。

・分割した中で一番性能の良いモデルを使う
・分割をしないで全データを学習してそのモデルを使う
どちらが良いのでしょうか。

②テストデータでの精度は良くないが、訓練データでは良い場合
---
k-分割交差検証を行った結果、以下の状況となったとします。

・テストデータでは精度が良くない
・訓練データの推論はいずれも十分な精度
・全データを学習し、学習した訓練データを推論しても十分な精度

この状況では、やはりテストデータでは要件を満たしたモデルではないため、運用時では使うべきではないでしょうか。
それとも学習をすれば(訓練データは)正しく推論できているため、全データを学習したモデルを使用しても良いと言えるのでしょうか。


【補足】学習グラフ
---

![Learning Curve](28f44e8835a5b2ade779837ebbe5d487.png)

学習過程を見ると過学習(※)はおきていないようですが、epochを増やしても精度は頭打ちです。
(※過学習は訓練誤差が収束しても汎化誤差が悪化した時のことを指すと認識しています。
このグラフの場合は汎化誤差は悪化してはいないので、過学習は起きていないと思っています。)
青線は訓練データに対するロスの値
赤線が訓練データに対する分類誤差
赤点線がテストデータに対する分類誤差
になります。

k-分割交差検証後に使用するモデルについて教えてください

pyplot.plot()で描いた複数の折れ線に､それぞれの凡例を付けるには､どうしたら良いでしょうか｡
よろしくお願いいたします｡

```python
_2016={'新潟':0.146,'北海道':0.205,'大阪':0.184,'岩手':0.195}

_2017={'新潟':0.149,'北海道':0.211,'大阪':0.179,'岩手':0.182}

_2018={'新潟':0.159,'北海道':0.209,'大阪':0.168,'岩手':0.167}

df=pd.DataFrame([_2016,_2017,_2018],index=['2016','2017','2018'])
df
```
![イメージ説明](d94ae2d8567ad4f4c6137058887fae40.png)

```python
import matplotlib.pyplot as plt
plt.plot(df)
plt.title('実質公債費比率')
plt.xlabel('年度')
plt.ylabel('比率')
plt.show()
```
![イメージ説明](79d3b0f9217293812e724a7c373630b6.png)

◎やったこと
plt.plotの引数にlabelを入れ､plt.legend()

```python
import matplotlib.pyplot as plt
# 引数にlabelを使った
plt.plot(df,label=['北海道','大阪','岩手','新潟'])
plt.title('実質公債費比率')
plt.xlabel('年度')
plt.ylabel('比率')
#plt.legend()
plt.legend()
plt.show()
```
![イメージ説明](182023434f0d6d3a369f45f8d6182cd5.png)

pyplot .plot､複数の折れ線の凡例を入れる方法

### 前提・実現したいこと

python3.7にて、CICDツールを作成しており、logging機能を実装しております。
loggingの設定をファイルに定義し、dictconfigにて設定を読み込ませlog出力しようとしております。
モジュール間でのlogging設定を共有する方法がわからず悩んでおります。
main.pyでloggerの設定をし、sub.pyでloggerを取得し、ログ出力しております。
sub.pyおいて、関数の外側でloggerを取得できるのが理想です。(モジュール内で1回のloggerの取得で済むため)

### 発生している問題・エラーメッセージ
sub.pyおいて、関数の外側でloggerを取得するとログ出力されず、関数内でloggerを取得するとログ出力されます。

- main.py
```python
logging.config.dictConfig('path to setting file')
logger = logging.getLogger(__name__)
```

- sub.py
下記はうまくいかないパターン
```python
logger = logging.getLogger(__name__)
def funcA():
  logger.debug('hoge')
```
下記はうまくいくパターン
```python
def funcA():
　logger = logging.getLogger(__name__)
  logger.debug('hoge')
```

### 補足情報（FW/ツールのバージョンなど）

python3.7、フレームワークは使用しておりません。

pythonのlogging設定をモジュール間で共有する方法

### 前提・実現したいこと
basemapを用いて、下の図にあるようなファイル名から緯度経度のみを抜き出し（例:25s100eだったら南緯25°東経100°）、その位置を地図上にプロットしたい。
![イメージ説明](6d585431fa826a950c7589aa8f584c78.png)


### 発生している問題・エラーメッセージ
東経のデータは地図上に表示されるが、西経のデータが表示されない。

### 該当のソースコード

```Python
ソースコード
```ここに言語を入力
import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap
import glob
import re

path = '0117/data/'
fname = 'met*_10m.ascii.txt'
flist = path + fname
flist = glob.glob(flist)
len = len(flist)

fig = plt.figure(figsize=(15,10))

south = -30
north = 30
west = 0
east = 360

m = Basemap(llcrnrlat=south,urcrnrlat=north, llcrnrlon=west,urcrnrlon=east,resolution='c')
m.drawcoastlines( linewidth=0.5, color='k' )
m.fillcontinents(color='black',lake_color='#ddeeff')
m.drawparallels(np.arange(south, north+0.1, 30), labels=[1,0,0,0], fontsize=14,linewidth=0.5,color='black')
m.drawmeridians(np.arange(west,east+0.1, 60), labels=[0,0,0,1], fontsize=14,linewidth=0.5,color='black')


for list in flist:
    
    loc = re.findall(r'\d+',list)
    lats = int(loc[1])
    lons = int(loc[2])


    locs = re.findall(r'\D+',list)
    if locs[1] == 'n':
        lats = lats
    else:
        lats = -(lats)

    if locs[2] == 'e_':
        lons = lons
    else:
        lons = 360 - lons

    m.scatter(lons,lats,s=50,marker='o',color='red',latlon=True)

plt.show()

```

### 試したこと

下の画像の180°の位置を超えた瞬間にデータがプロットされないみたいです。（確認済み）

### 補足情報（FW/ツールのバージョンなど）
上のコードを実行すると次のようになります。
![イメージ説明](268b0f6b3f98b2dc814ecf49c4783b5d.png)

正しいとこのようになるらしいです。
![イメージ説明](9098ac5fc7e090dc29d17364e509fa4f.jpeg)


ここにより詳細な情報を記載してください。

Basemapでプロットする際、西経の点が消えてしまう件

【一つのframe】の上で　以下のようなデザインを達成したいのですが、そもそも
①PACKとGRIDを使い分けることができるのか、一度PACKを使いだしたら　同frame内では　PACKの利用に統一しなければいけないのか？
②GRIDのrowとcolumnの考え方も、１あたりのメッシュを認識できていないのに　どうやって位置を決定づけられるのだろう？？
と疑問を抱いています。


![frame](8921a2c0ce12c4206f7e8346cc9b17f4.png)

1行目に左詰めで、２つのwidgetを並べて貼り付け、
2行目では一つのwidgetを横いっぱいに配置
3行目も　一つのwidgetを横いっぱいに配置

少し空白行をあけて....

再度別の一つのwidgetを横いっぱいにに配置
その直下に　2つのwidgetを左詰めで並べて配置
その直下で　2つのwidgetを右詰めで並べて配置

ということを達成したいのですが、どういう貼付け方を行うべきでしょうか？

ひょっとして１つのframeでは　無理でしょうか？？

Python(TkInter)　希望のデザインを達成するため、Widgetを貼付けていきたいが　PACK・GRID・PLACEの使い方がよく分からない

本番環境とステージング環境の設定ファイル```stg-py```と```prod.py```があります。
この２ファイルに共通する定数を切り出したいのですが、どうすればいいでしょうか。```common.py```を作って、それをインポートする手を考えましたが、ロジックに影響が出るため、(既存ロジックの変数名がstg.CONST_COMMOM_MSGからcommon.CONST_COMMOM_MSGへ変わることになるため)これは避けたいと思っています。
既存ロジックに影響を出さない方法で、共通の部分を切り出す方法は無いのでしょうか。


```python
# stg.py

CONST_COMMOM_MSG = '共通メッセージ'

CONST_STG_MSG = 'ここはstgです'

```

```python
# prod.py

CONST_COMMOM_MSG = '共通メッセージ'

CONST_PROD_MSG = 'ここはprodです'

```

pythonで共通の定数を使うにはどうしたらいいでしょうか

### 前提・実現したいこと

ラズパイ４B,pyhton3で計測プログラムを作成しています。
各種ICからのデータを読み込んで画面に表示することはできたのですが
10秒毎にデータグラフを書きたくてtkinterからFigureCanvasTkAggを使用して
最初の1枚を出すことはできたのですが、いろいろなアプローチを行ったんですが
2回目の書換がうまく行かずに
（エラーがでてプログラムが止まる）
苦肉の策でエラーが出ずに動いた

                fig.savefig("test_figure2.png")
                img = Image.open('test_figure2.png')
                img = ImageTk.PhotoImage(img)
                canvas.itemconfig(img2,image=img)

というファイルを経由しての書き換えを行っています。
このファイル経由をなにか変数経由で行いたいのですが
いい方法がありますでしょうか

イメージ的には

変数A(イメージ)　＜＝　新グラフデータ 
canvas.itemconfig(img2,image=変数A(イメージ))

という感じです。
ソースファイル添付しますが計測部は省いています。

Python歴は1ヶ月です。
稚拙なソースファイルでもう訳ありませんがよろしくおねがいします。


### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
PYTHON
ソースコード

import time
import datetime
import tkinter as tk
import tkinter.font as font
import threading
import RPi.GPIO as GPIO
import spidev
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.backends.backend_tkagg import FigureCanvasTkAgg, NavigationToolbar2Tk
from matplotlib.figure import Figure
import csv
import pprint
import sys
import os
from PIL import Image, ImageTk

fontsize1 = 40
#path_w = 'data/src/test_w.txt' #for csv test

class Application(tk.Frame):
    def __init__(self, master=None):
        super().__init__(master)
        self.stop_fg=True
#        self.stop_fg=True
        self.locate="    0.000" # 
        self.laptime=" 0.000000000" # Process time measure
        self.laptime2=" 0.000000000" # Process time measure
        self.laptime3=" 0.000000000" # Process time measure
        self.testcount01=0 # temp counter01
        self.testcount02=0 # temp counter02
        self.temperature01A="    0.00" # temperature01  
        self.temperature01B="    0.00" # temperature02  
        self.temperature02A="    0.00" # temperature01  
        self.temperature02B="    0.00" # temperature02  
        self.adconv01="    0.000" # ADconverterA01  
        self.adconv02="    0.000" # ADconverterA02  
        self.strain01="    0.000" # Starin converter01  
        self.strain02="    0.000" # Strain converter02  
        self.hosei_fg = False
        self.GUI()
        self.on_start()

    def GUI(self):
        self.Text001=tk.Label(text=self.locate,font=("",fontsize1), anchor='w')
        self.Text001.grid(column=0,row=0)
#
        Text001=tk.Label(text=" mm (位置",font=("",fontsize1))
        Text001.grid(column=1,row=0)

        self.Text002=tk.Label(text=self.temperature01A,font=("",fontsize1),fg ='green', anchor='w')
        self.Text002.grid(column=0,row=1)

        Text002=tk.Label(text="℃ (１",font=("",fontsize1),fg ='green')
        Text002.grid(column=1,row=1)

        self.Text004=tk.Label(text=self.temperature02A,font=("",fontsize1),fg ='darkorange', anchor='w')
        self.Text004.grid(column=0,row=2)

        Text004=tk.Label(text="℃ (２",font=("",fontsize1),fg ='darkorange')
        Text004.grid(column=1,row=2)

        self.Text006=tk.Label(text=self.adconv01,font=("",fontsize1), anchor='w')
        self.Text006.grid(column=10,row=0)

        Text006=tk.Label(text=" Volt (1　",font=("",fontsize1))
        Text006.grid(column=11,row=0)

        self.Text007=tk.Label(text=self.adconv02,font=("",fontsize1),fg ='green', anchor='w')
        self.Text007.grid(column=10,row=1)

        Text007=tk.Label(text=" Volt (2",font=("",fontsize1),fg ='green')
        Text007.grid(column=11,row=1)

        self.Text008=tk.Label(text=self.strain01,font=("",fontsize1),fg ='darkorange', anchor='w')
        self.Text008.grid(column=10,row=2)

        Text008=tk.Label(text=" e (G1　",font=("",fontsize1),fg ='darkorange')
        Text008.grid(column=11,row=2)

        self.Text009=tk.Label(text=self.strain02,font=("",fontsize1), anchor='w')
        self.Text009.grid(column=10,row=3)

        Text009=tk.Label(text=" e (G2　",font=("",fontsize1))
        Text009.grid(column=11,row=3)

#グラフ描画テスト
        global x1,y1,y2,fig,ax1,canvas,h,img,img2

        x1 = np.linspace(0.0, 5.0)
        y1 = np.cos(2 * np.pi * x1) * np.exp(-x1)
        y2 = np.sin(2 * np.pi * x1) * np.exp(-x1)

        fig = plt.figure(figsize=(14, 5))
        ax1 = fig.add_subplot(111)
#        ax1.plot(x1,y1,'green')
        h,=ax1.plot(x1,y1,'green')

        fig.savefig("test_figure.png")
        
        img = Image.open('test_figure.png')
        img = ImageTk.PhotoImage(img)

        canvas = tk.Canvas(bg = "black", width=1400, height=490)
        canvas.place(x=100, y=300) # 左上の座標を指定
        # キャンバスに画像を表示する。第一引数と第二引数は、x, yの座標
        img2 = canvas.create_image(0, 0, image=img, anchor=tk.NW)

#        canvas = FigureCanvasTkAgg(fig, master=root)  # Generate canvas instance, Embedding fig in root
#        canvas.draw()
#        canvas.get_tk_widget().place(x=50,y=300)

#laptime 表示
        self.Text108=tk.Label(text=self.laptime,font=("",20), anchor='w')
        self.Text108.grid(column=0,row=3)

        self.Text109=tk.Label(text=self.testcount01,font=("",20), anchor='w')
        self.Text109.grid(column=0,row=4)

        self.Text110=tk.Label(text=self.testcount02,font=("",20), anchor='w')
        self.Text110.grid(column=0,row=5)

#ボタン        
        Button001=tk.Button(text="Start",font=("",20),command=self.on_start)
#        Button001.grid(column=0,row=10)
        Button001.place(x=50,y=800)
        Button002=tk.Button(text="Stop",font=("",20),command=self.on_stop)
#        Button002.grid(column=1,row=10)
        Button002.place(x=150,y=800)
        Button003=tk.Button(text="Reset",font=("",20),command=self.on_reset)
#        Button002.grid(column=2,row=10)
        Button003.place(x=250,y=800)
        Button004=tk.Button(text="Quit",font=("",20),command=self.on_quit)
#        Button003.grid(column=3,row=10)
        Button004.place(x=350,y=800)

    def run(self):
        global h
        self.stop_fg=False
        elapsed_time = 0
        elapsed_timemax = 0
        elapsed_timeave = 0
        sectimer01 = 0
        avg1_list=[] 
        avg1_cnt=0
        avg1 = 0
        logtime1 = 1000.0 # msec

        while self.stop_fg!=True:

            start = time.time()
            time.sleep(0.15) #150msec wait  
 
            #ここに計測処理が入ります。

#処理時間の計測
            elapsed_time = (time.time() - start) * 1000
            if elapsed_time > elapsed_timemax :
                elapsed_timemax = elapsed_time 
            avg1_list.append(elapsed_time)
            avg1_cnt = avg1_cnt + 1
            if avg1_cnt > 50 :
                avg1_cnt = 0
                avg1 = sum(avg1_list) / len(avg1_list)
                avg1_list = []

            sectimer01 = sectimer01 + elapsed_time

#10秒毎の処理           
            if sectimer01 > logtime1 :
                ax1.cla()
                h,=ax1.plot(x1,y2,'red')
                fig.savefig("test_figure2.png")
                img = Image.open('test_figure2.png')
                img = ImageTk.PhotoImage(img)
                canvas.itemconfig(img2,image=img)
#                canvas.show()
               
                sectimer01 = 0
                now = datetime.datetime.now()
                recordtime = '{0:%Y%m%d}'.format(now)
                recordtime = recordtime + "," + '{0:%H%M%S}'.format(now)
#コンソールに測定値を表示
#                print("recordtime = %s" % recordtime)
                data = 123456
                data = recordtime + "," + str(data)
#                data = data.split(',') 
                print("%s" % data)
 #               print(type(data))                 
     
#日付のファイル名のCSVに書き込み
                f = open('{0:%Y%m%d}'.format(now) + ".csv" , 'a') 
                f.write(data+"\n")
                f.close()

            self.laptime= '　　　処理時間(単独)　' + "{:6.2f}".format(elapsed_time)+'ミリ秒'
            self.Text108["text"]= self.laptime
            self.laptime2= '　　　処理時間(最大) ' + "{:6.2f}".format(elapsed_timemax)+'ミリ秒'
            self.Text109["text"]= self.laptime2
            self.laptime3= '処理時間(50回平均) ' + "{:6.2f}".format(avg1)+'ミリ秒'
            self.Text110["text"]= self.laptime3

    def on_start(self):
        if self.stop_fg!=True:
            return
        else:
            threading.Thread(target=self.run).start()

    def on_stop(self):
        self.stop_fg=True

    def on_reset(self):
        self.on_stop()
        self.testcount01=0

    def on_quit(self):
#終了処理        
        raise SystemExit
                
root=tk.Tk()
root.title("Measurement Value")
root.geometry("1600x900+50+50")
app=Application(master=root)

app.mainloop()

```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

matplotlibでのグラフデータをtkinterのcanvasへ画像データとして受け渡す方法が知りたいです。

最上２乗法を学んだので、自分で作ったデータで試してみようと思いました。
作ったモデルの正確さを、とりあえず差分の２乗の平均で表したんですけど、これをパーセンテージで表したいです。
今『Pythonではじめる機械学習』という本を読んでるんですけど、そこではモデルの正確さをパーセンテージで出せていたので、その仕組みがどうなってるのか気になった次第です。

回答お願いします！　m(__)m

```ここに言語を入力
%matplotlib inline

import matplotlib.pyplot as plt
import random
from statistics import mean, stdev
import numpy as np
import math 

# 理系科目が得意な人を想定して、物理と数学のテスト結果を作成
# それぞれ、インデックスが同じものは同じ人の点数。
phy = [40, 90, 80, 50, 70, 66, 70, 90, 88, 29, 21, 33, 50, 60, 50, 80, 77, 88, 29, 34, 50, 12]
ma = [50, 77, 99, 44, 88, 60, 77, 80, 99, 44, 40, 30, 90, 80, 40, 90, 70, 66, 33, 55, 45, 15]

phy_mean = mean(phy)
ma_mean = mean(ma)

# 共分散を計算
def cov(data_score1, data_score2):
    
    data_score1_mean = mean(data_score1)
    data_score2_mean = mean(data_score2)
    
    store = []
    
    for score1, score2 in zip(data_score1, data_score2):
        store.append((data_score1_mean - score1) * (data_score2_mean - score2))
        
    cov = sum(store) / len(data_score1)
    
    return cov

cov = cov(phy, ma)

katamuki = cov / (stdev(phy) * stdev(phy))
seppen =  mean(ma) - mean(phy) * (katamuki)

y = []
for x in range(0, 101, 10):
    y.append(katamuki * x + seppen)
x = np.array([i for i in range(0, 101, 10)])
fig, ax = plt.subplots()
ax.scatter(phy, ma)
ax.set_xlabel("physics")
ax.set_ylabel("math")
ax.plot(x, y)

# このモデルがどれくらい正確か試してみたい。

#　新しいデータを5個つくる。
phy_new = [90, 77, 50, 10, 50]
ma_new = [99, 70, 44, 15, 33]
plt.scatter(phy_new, ma_new, c="red")

# まずは、個々のphy_newに対して、予測された結果のphy_new_predを集める。
math_pred = []
for phy_data in phy_new:
    math_pred.append(round(katamuki * phy_data + seppen))

# つぎに、予測されたデータmath_predと、実際のデータであるma_newを比べてみる。

# それぞれ、差を２乗して、平均をとってみる
diff = []
for new, old in zip(ma_new, math_pred):
    diff.append((new - old) * (new - old))

accuracy =math.sqrt(mean(diff) / len(diff))
print("accuracy: {}".format(round(accuracy, 2)))


```

どうやってモデルの正確さをパーセンテージであらわすのか？

下記のコードでの、 'mean_score','mean_std'でのパラメータの性能評価方法が知りたいです。
'mean_score'の高いパラメーターを選択するでは、だめなのでしょうか。
よろしくお願いいたします。
下記に自分なりの解釈を追加掲載しました。
自分なりの考え：cv（クロスヴァリエーション）セット（今回はcv=3）で、３分割交差検証をしてあり、
各テストデータごとにスコア（これは、予測値と実測値の比較した分類正解率）を算出する。そのスコア
が３通り出るので、その平均値が'mean_score'、また複数のスコア（n=3）の標準偏差が'mean_std'と
いうもの。よって、'mean_score'の高いパラメーターを選択するのが基本となる。
```
import numpy as np
import pandas as pd

def get_grid_df(fitted_gs_estimator):
    res_dict = fitted_gs_estimator.cv_results_
 
    results_df = pd.DataFrame()
    for key in res_dict.keys():
         results_df[key] = res_dict[key]
 
    return results_df

def group_report(results_df):
    param_cols = [x for x in results_df.columns if 'param' in x and x is not 'params']
    focus_cols = param_cols + ['mean_test_score']
 
    print ("Grid CV Report \n")
 
    output_df = pd.DataFrame(columns = ['param_type','param_set', 'mean_score','mean_std'])
    cc = 0
    for param in param_cols:
        for key,group in results_df.groupby(param):
            output_df.loc[cc] = (param, key, group['mean_test_score'].mean(), group['mean_test_score'].std())
            cc += 1
    return output_df

results_df = get_grid_df(pre_gs_inst)
group_report(results_df)
```

'mean_score','mean_std'の性能評価

MobaXterm 11.1 を使い，WSL(Debian)を使っています．
ローカルでは普通にXが使えるのですがssh でリモートサーバーに接続し
そこでのXが使えません．


・エラーは以下になります．
まずローカルからリモートにログイン
$ ssh -X user@リモートIP
xが起動するかxeyesで確認．以下の様なエラーが出ます．
$ xeyes
connect /tmp/.X11-unix/X0: No such file or directory
Error: Can't open display: リモートのIP:10.0


・確認したことは以下になります．
リモートの/etc/ssh/sshd_configの中を確認し
X11Forwarding yes
X11UseLocalhost no
になっていることを確認

・ディスプレイの環境変数
$ echo $DISPLAY
リモートIP:11.0

ディスプレイの環境変数がおかしいのでしょうか
おかしい場合はどのように設定すればよいのでしょうか．
ご教授お願い致します。

WSLを使っています．sshでのXが使えない

ご覧頂き、ありがとうございます。
よろしくお願いいたします。

# 達成したいこと
## 目的
以下のような図面を作成したいです。
使用しているのは、Pythonのmpl_toolkits.basemapのBasemapです。
![目的の図面と問題](7c065ea8967455f266c54a67b723c9d1.png)
この図は、九州地方にある奄美大島などを、左下の枠の中に表示しているものです。
天気予報などでよく見る、離島を別窓で表示するやり方です。

これを、書いたコードは、
```python
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap

m = Basemap(llcrnrlat=30.2, llcrnrlon=128.2, urcrnrlat=34.3, urcrnrlon=132.5, resolution="i")
mm = Basemap(llcrnrlat=27.6, llcrnrlon=128.5, urcrnrlat=28.7, urcrnrlon=129.8, resolution="i")

fig = plt.figure(figsize=(6, 4), facecolor='w', dpi=100)
m.drawcoastlines(color='black')

plt.axes([0.2, 0.135, 0.30, 0.25])
mm.drawcoastlines(color='black')

plt.show()
plt.close()
```

このようになります。

## 問題点
しかし上の図には問題があります。
元々存在したaxesと、新しく追加したaxesで、それぞれの**縮尺が違ってしまいます**。

## 質問
このような図面で縮尺を整えるには、どのようにしたら良いでしょうか。
Basemapにこだわる必要はないので、適切なツールを使えればと思っています。
なお、この図面には本来scatterをかぶせるつもりですので、それが**可能なライブラリーで描画する必要**があります。


私も、plotlyやcartopy、foliumやPython版のggplotを試してみたりしましたが、どれでも上手くいきませんでした。

何かよい方法がございましたら、教えてください。

よろしくお願いいたします。

PythonのBasemapで離島の地図を別窓で表示したいです

### 前提・実現したいこと

Pythonの文字列format文で指数表記する際の仮数部を指定したいです。


### 発生している現象

print("{:10.4e}".format(100000000))

を実行した際に、1.0000e+08 と表示されるのですが、

これを、0.1000e+09 と表示したいです。



### 該当のソースコード

```Python
print("{:10.4e}".format(100000000))
```

### 試したこと

- numpy.set_printoptions を利用する方法も調べたが解決できませんでした。

### 補足情報（FW/ツールのバージョンなど）

環境は、Windows Anacondaで、Python 3.6.4を利用しています。

Pythonの文字列format文で指数表記する際の仮数部を指定したいです。

### 前提・実現したいこと

tkのFrameの中に、matplotlibのFigureCanvasTkAggを継承し、スクロールできるようにしたCanvasを配置しました。
このCanvasの中にCanvasの大きさに合わせたグラフをプロットしたいです。

### 発生している問題・エラーメッセージ

Canvasの大きさに拡大してグラフをプロットしたいのですが、
Frameの大きさに合わせて描画されてしまいます。

### 該当のソースコード

```Python
from matplotlib import pyplot as plt
from matplotlib import ticker
import os
import tkinter as tk
from matplotlib.backends.backend_tkagg import (FigureCanvasTkAgg, NavigationToolbar2Tk)
from matplotlib.figure import Figure
import numpy as np
import pandas as pd

class MainWindow:
    def __init__(self):
        self.root = tk.Tk()

        default_win_size = '800x600'
        self.root.geometry(default_win_size)

        left_frame_prop = dict(bd=5, relief='groove', bg='white')
        self.left_frame = tk.Frame(self.root, left_frame_prop)
        self.left_frame.place(relheight=1.0, relwidth=0.8)

        self.fig = plt.figure()

        self.canvas = ScrollCanvas(self.fig, self.left_frame, 1000, 1000)
        self.canvas.get_tk_widget().pack(expand=1, fill=tk.BOTH)

        self.fig.set_facecolor('red')

        for n in range(9):
            self.fig.add_subplot(3, 3, n + 1)

        for n, ax in zip(range(9), self.fig.get_axes()):
            ax.plot([0.0, 1.0], [1.0, 0.0])
        
        self.canvas.get_tk_widget().config(height=1000, width=1000)
        h = int(self.canvas.get_tk_widget().config()['height'][4])
        w = int(self.canvas.get_tk_widget().config()['width'][4])
        self.canvas.get_tk_widget().create_rectangle(0, 0, w, h, fill='green')
        #self.fig.set_size_inches(100, 100)
        self.fig.canvas.draw()

        tk.mainloop()

class ScrollCanvas(FigureCanvasTkAgg):
    def __init__(self, fig, master, scroll_width, scroll_height):
        super().__init__(fig, master=master)

        bar_y = tk.Scrollbar(self.get_tk_widget(), orient=tk.VERTICAL)
        bar_x = tk.Scrollbar(self.get_tk_widget(), orient=tk.HORIZONTAL)

        bar_y.pack(side=tk.RIGHT, fill=tk.Y)
        bar_x.pack(side=tk.BOTTOM, fill=tk.X)

        bar_y.config(command=self.get_tk_widget().yview)
        bar_x.config(command=self.get_tk_widget().xview)

        self.get_tk_widget().config(yscrollcommand=bar_y.set, xscrollcommand=bar_x.set)
        self.get_tk_widget().config(scrollregion=(0, 0, scroll_width, scroll_height))

def main():
    mainwin = MainWindow()


if __name__ == '__main__':
    main()
```

### 試したこと

Canvasの大きさを変える
＞緑の部分しか変わらなかった

self.fig.set_size_inches(100, 100)
＞変化なし

### 補足情報（FW/ツールのバージョンなど）
python                    3.7.3
matplotlib                3.1.0
![![イメージ説明](225353ec748b1729e68319dde60a4c79.png)](98d6176fa547e7bcacc3290e075ea852.png)

スクロールができるFrameの中にFrameよりも大きいCanvasを配置し、そのCanvasに大きさを合わせてグラフをプロットしたい

### 前提・実現したいこと
pythonに関する質問です。
実行したい内容は下記1～4のコードになります。これを高速化する方法はあるでしょうか。
どなたかご教示お願い致します。
1.irisのpetal_length,petal_widthごとに,sepal_lengthの平均値を算出する。
2.irisのsepal_lengthに対して、1で算出した平均値を除く。
3.算出後にデータフレームを結合する。
4.5回繰り返す

### 発生している問題・エラーメッセージ
実行時間が長い。

### 該当のソースコード

```python
import pandas as pd
import numpy as np
import os
from dfply import *
from sklearn.datasets import load_iris
iris = load_iris()
df = pd.DataFrame(iris['data'],columns=['sepal_length','sepal_width','petal_length','petal_width'])
petal_length_all = df['petal_length'].unique()
petal_width_all = df['petal_width'].unique()

df_tmp_summary=pd.DataFrame()

for i in range(0,5):
    for petal_length_Number in range(0, len(petal_length_all)):
        for petal_width_Number in range(0, len(petal_width_all)):
            df_tmp=df >> filter_by(X.petal_length == petal_length_all[petal_length_Number]) >> filter_by(X.petal_width == petal_width_all[petal_width_Number])
            df_tmp['sepal_length']=df_tmp['sepal_length'].apply(lambda x: x - df_tmp['sepal_length'].mean())
            df_tmp_summary = pd.concat([df_tmp_summary, df_tmp])
```

処理を高速化したいです。

https://pypi.org/project/qpso/
組み合わせ問題を解く？ Pythonのライブラリのようですが、
使い方がよくわかりません。

１．例題では、具体的に何を求めていますか？

２．別の例題も見たいのですが、
    思いつくものがあれば、教えてください。

よろしくお願いします。

pythonの組み合わせ問題のライブラリ？

以下のコードで重回帰モデルを定義して、回帰の結果のサマリを出力したところ
説明変数としてカテゴリ変数 week[T.1]は学習データ上存在するのですが、それに対しての
係数は出力されません。
モデル定義でどこが間違っているのかどなたかご教示いただけないでしょうか
（独学で限界デス・・・）


”””
モデルの構築
”””
ols_model = 'y ~ 1 + week + temperature'


model_ols = smf.ols(formula=ols_model, data=train)
”””
trainデータで学習
”””
result_ols = model_ols.fit()
”””
結果の参照
”””
result_ols.summary()

"""
                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.460
Model:                            OLS   Adj. R-squared:                  0.447
Method:                 Least Squares   F-statistic:                     34.30
Date:                Tue, 14 Jan 2020   Prob (F-statistic):           2.91e-25
Time:                        15:07:20   Log-Likelihood:                -952.41
No. Observations:                 207   AIC:                             1917.
Df Residuals:                     201   BIC:                             1937.
Df Model:                           5                                         
Covariance Type:            nonrobust                                         
===============================================================================
                  coef    std err          t      P>|t|      [0.025      0.975]
-------------------------------------------------------------------------------
Intercept     143.9546      5.526     26.053      0.000     133.059     154.850
week[T.2]      -6.4109      5.470     -1.172      0.243     -17.197       4.375
week[T.3]     -10.2921      5.411     -1.902      0.059     -20.963       0.378
week[T.4]     -17.7358      5.412     -3.277      0.001     -28.407      -7.065
week[T.5]      -6.8782      5.470     -1.258      0.210     -17.663       3.907
temperature    -2.5388      0.198    -12.800      0.000      -2.930      -2.148
==============================================================================
Omnibus:                       23.275   Durbin-Watson:                   1.228
Prob(Omnibus):                  0.000   Jarque-Bera (JB):               27.801
Skew:                           0.809   Prob(JB):                     9.18e-07
Kurtosis:                       3.779   Cond. No.                         119.
==============================================================================

Warnings:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
"""

Python　重回帰分析　statsmodels.formula

## 目的
時間と円柱座標上に記録された4次元データの配列をt,zで固定し、角度と半径の座標の2次元配列になった物理量をカラーマップで表示する。

## 問題点と質問
今,t=100,z=500のときに
```python
import matplotlib.pyplot as plt
import numpy as np
import sys
from dac_read import dac_read
t=100
dac_name='./data/0???_rank=*.dac'
data1, r, theta, z = dac_read(dac_name,dimension=3)
#座標の配列r, theta, zと物理量データの配列を作成
theta_matrix, z_matrix, radius_matrix = np.meshgrid(theta, z, r)
x = radius_matrix * np.cos(theta_matrix)
y = radius_matrix * np.sin(theta_matrix)
z = z_matrix
#x,y,z座標に変換
z_grid=500
plt.pcolormesh(x[z_grid,:,:],y[z_grid,:,:],data1[t,z_grid,:,:])
plt.axes().set_aspect('equal')
pp=plt.colorbar (orientation="vertical") 
pp.set_label(str(br), fontname="Arial", fontsize=24)
plt.show()
```
こうするとカラーマップが表示されるのですが、
![](a9193a6c528ca58cec6f6beca4a292f2.png)
このようにマップの一部が表示されずパックマンのような状態になってしまいます。
どうすれば全体の画面を表示することができるでしょうか。

なおデータの形状は
```python
print(data1[t,z_grid,0,:])
print(type(data1[t,z_grid,0,:]))
print(data1[t,z_grid,0,:].shape)
print(data1[t,z_grid,:,:])
print(type(data1[t,z_grid,:,:]))
print(data1[t,z_grid,:,:].shape)
```
に対して
```
[  5.93998474e-01   2.72014498e-01   1.60743782e-01   1.22071128e-01
   8.54242388e-02   5.62375102e-02   3.98297251e-02   3.85923555e-02
   5.46078552e-02   7.67571167e-02   1.04584462e-01   1.26286600e-01
   1.34653855e-01   1.39972098e-01   1.25589692e-01   1.16475245e-01
   1.09645720e-01   9.72632270e-02   8.55016597e-02   6.79821852e-02
   4.53994824e-02   1.75779108e-02  -2.45879872e-03  -1.13406932e-02
  -1.24115496e-02  -9.70184050e-03  -7.05966531e-03   1.49696385e-04
   1.06662043e-02   2.39036877e-02   3.44667117e-02   4.23717256e-02
   4.74437975e-02   5.29893432e-02   5.70193959e-02   6.11525840e-02
   6.44646737e-02   6.68481411e-02   6.85947844e-02   7.30249992e-02
   7.18245570e-02   7.01765132e-02   6.95374731e-02   6.76733260e-02
   6.42950335e-02   6.00402268e-02   5.54000349e-02   4.79503256e-02
   4.05109896e-02   3.62117791e-02   3.37975817e-02   3.03632699e-02
   2.63984166e-02   2.31925551e-02   2.02030340e-02   1.75660329e-02
   1.53736619e-02   1.35047584e-02   1.19334207e-02   1.08147802e-02
   1.02420795e-02   9.64802706e-03   8.73544865e-03   7.98980898e-03
   7.24708634e-03   6.67050472e-03   5.67588498e-03   4.78841771e-03
   4.41521114e-03   4.15168019e-03   3.95074908e-03   3.74238664e-03
   3.51991669e-03   3.32391537e-03   3.18267812e-03   3.01851968e-03
   2.86565330e-03   2.72578900e-03   2.67246484e-03   2.67342684e-03]
<type 'numpy.ndarray'>
(80,)
[[ 0.59399847  0.2720145   0.16074378 ...,  0.00272579  0.00267246
   0.00267343]
 [ 0.58965775  0.24002432  0.13586343 ...,  0.00834293  0.00825524
   0.00826126]
 [ 0.5609483   0.21450841  0.11150027 ...,  0.02227583  0.02232245
   0.02211417]
 ..., 
 [ 0.36540269  0.20545923  0.0943813  ...,  0.00173673  0.00159774
   0.00155259]
 [ 0.47055532  0.25848592  0.1373705  ...,  0.00167634  0.00156395
   0.00150603]
 [ 0.55152032  0.28228408  0.16413585 ...,  0.00186905  0.00178926
   0.00167145]]
<type 'numpy.ndarray'>
(16, 80)
```
## 試したこと
角度の配列が[0, π/8, 2π/8, 3π/8, ,,,15π/8]
になっており、2πの部分がないのが良くないのではないかと考え、
data1[t,z_grid,:,:]にdata1[t,z_grid,0,:]を加えようとしました。
```python
np.append(data1[t,z_mesh,:,:], data1[t,z_mesh,0,:], axis=0)
```
こうするとエラーが発生し
```
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/numpy/lib/function_base.py", line 3543, in append
    return concatenate((arr, values), axis=axis)
ValueError: all the input arrays must have same number of dimensions
```
となって、そもそもこの方法の実行方法でうまく行くのか試せませんでした。
この方法で追加できる場合は配列の追加方法を教えてください。

極座標上に記録されたデータの配列をカラーマップで表示する方法

### 実現したいこと
音波測定機器から吐き出した.wav形式の波形データをpythonで開き、波形のグラフを得たいです。

### やったこと
下記リンク「waveモジュールで24bitの音声ファイルを読みたい」項を参考にしながら、ファイルを開いてデータの形式を確認するところまではいきました。
[参考リンク](https://qiita.com/wrist/items/4b404230e264c5cb571c)
測定データの形式
・チャンネル数：4ch(4つのセンサーから波形データを同時に測定している）
・サンプル幅：3（つまり24bitデータ?）
・フレームレート：51200
・データ数：任意

### 教えていただきたいこと
4ch　24bitのデータから、4つの波形データのグラフを得たいのですが、データの構造がよくわからなく、下記の部分で手が止まっております。

■ いろいろ調べてみましたが下記の文章がよく理解できませんでした。おそらくバイナリファイル？機械語？のような話を理解していた方がよいのでしょうか？素人にもわかるような説明もしくは参考文献などご教示いただけますでしょうか。（「特に3byteずつ読み込む　0を詰める」の意味がわからない）

> 24bit音源の場合はfrombufferで24bitが指定できないため自力で読む必要があります。ここでは下記のコードのようにstructモジュールのunpackを用いて3byteずつ読み込みつつ、0を詰めてint32としてunpackすることで24bit音源の読み込みを実現しています。


■ その他コード中のわからなかった部分をコメントで記述しました。質問要旨がまとまっておらず申し訳ありませんが、
教えていただけますと幸いです。
```python
buf = fp.readframes(nframe * nchan) # ←なぜチャンネル数をかけているのでしょうか？
    fp.close()

    read_sec = 40
    read_sample = read_sec * nchan * fs　# ←なぜチャンネル数をかけているのでしょうか？
    print("read {0} second (= {1} frame)...".format(read_sec,
                                                    read_sample))
    unpacked_buf = [unpack("<i",
                           bytearray([0]) + buf[nbyte * i:nbyte * (i + 1)])[0]
                    for i in range(read_sample)]

    # ndarray化
    ndarr_buf = np.array(unpacked_buf)

    # -1.0〜1.0に正規化    ←正規化とは何のためにするのでしょうか？
    float_buf = np.where(ndarr_buf > 0,
                         ndarr_buf / (2.0 ** 31 - 1),
                         ndarr_buf / (2.0 ** 31))

    # interleaveを解く(ステレオ音源の場合)
    wav_l = float_buf[::2]  # ステレオ(2ch)なので２つデータを取得しているのは理解しました。しかしなぜ一つのデータからステップでスライスしているのでしょうか？
    wav_r = float_buf[1::2] # どのようなデータ構造をしているか、4chの場合はどのようにすべきか教えていただけますでしょうか
    time = np.arange(np.alen(wav_l)) / fs
```


質問の要旨がまとまっておらず申し訳ありません。
素人質問で申し訳ありませんが、教えていただけると嬉しいです。

wavファイル(4ch,24bit)の波形データの可視化がしたい

### 前提・実現したいこと

pythonのオブジェクト指向を勉強し始めましたが、クラス図、シーケンス図に興味を持ち始めました。pyreverseというライブラリを用いてクラス図は作成できましたが。シーケンス図について自動化できるという情報がほぼなく（1件のみ発見）少し困っています。
[visual stdioでシーケンス図自動生成？](https://tech.nikkeibp.co.jp/it/article/COLUMN/20100823/351363/)

学習のためには自分で書いた方がいいのでしょうが、とっかかりがつかめないので簡単なお手本としてシーケンス図、状態遷移図などが自動生成できるものを探しています。

### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

ソースコードからシーケンス図を作成したい

u-netを使用した2クラス分類の学習のlossが下がらない原因が分かりません。
現在のlossはこのようになっています。
![イメージ説明](db25f57bcabc6e18a34b71e17e3a5213.jpeg)
学習率を変えたりしましたが全く改善されません。入力のサイズはあっていると思いますので入力の値の形式に問題があるのかもしれないと現在考えています。
ネットワークはchainerを使用したu-netです。入力画画像(batchsize×1×W_img×H_img)に対してラベル画像(batchsize×1×W_label×H_label)を対応させて学習しています。(W_label≒W_img,H_label≒H_img)ラベル画像は01のマスク画像です。コードの詳細部分はところどころ****で略しています。
もし可能性として考えられるものがありましたら、教えていただきたいです。よろしくお願いいたします。
``` python

def main(gpu, epoch, ites, bsize, trfolder, trlabel, modelname):
    chainer.cuda.get_device(gpu).use()
    net = UNET()
    net.to_gpu()
    opt = chainer.optimizers.Adam()
    opt.setup(net)
    stime = time.clock()
    train = data.TrainData(trfolder, trlabel)
    x_train = train.get_len()
    train_batchnum = -(-x_train // bsize) 
    print('epoch    time     train/loss test/loss ')
    for ep in range(1, 1+epoch):
        train_loss_sum = cp.float32(0)
        train.shuffle()
        for b in range(ites):
            x_batch, y_batch, r_batch = train.u_data(b, min(b + bsize, x_train))
            x, y = Variable(cuda.to_gpu(x_batch)), Variable(cuda.to_gpu(y_batch))
            r = Variable(cuda.to_gpu(r_batch))
            h = net(x)
            loss = *****
            net.cleargrads()
            loss.backward()
            opt.update()
            train_loss_sum += loss.data
        print('{0:5} {1:7.1f} {2:.6f}'.format(ep, time.clock()-stime, float(train_loss_sum)/ites)
        chainer.serializers.save_npz('{}_{}'.format(modelname, ep), net)

```
``` python
import cv2
import os
import numpy as np
import random
import sys
import math

class TrainData:
    def __init__(self, folder, labelfolder):
        self.lst = []
        files = os.listdir(folder)
        for i in range(len(files)):
            img = cv2.imread(folder + files[i], 0).astype(np.float32) / 255.0
            img = cv2.resize(img, (W_img, H_img), interpolation=cv2.INTER_NEAREST)
            label = cv2.imread(labelfolder + files[i])
            label = cv2.resize(label, (W_label, H_label), interpolation=cv2.INTER_NEAREST)
            labelb = np.zeros_like(label)
            labelb[**********] = 1
            label = labelb[:, :, 0]
            self.lst.append((img, label, files[i]))

    def shuffle(self):
        np.random.shuffle(self.order)

    def get_len(self):
        return len(self.lst)

    def u_data(self, _from, _to):
        x = np.empty((batchsize, 1, W_img, H_img), dtype=np.float32)
        y = np.empty((batchsize, 1 , W_label, H_label), dtype=np.float32)
        for i in range(_from, _to):
            img, label, fname = self.lst[self.order[i]]
            height = img.shape[0]                         
            width = img.shape[1]                          
            center = (int(width/2), int(height/2))
            angle = *****
            scale = *****
            trans = cv2.getRotationMatrix2D(center, angle , scale)
            img = cv2.warpAffine(img, trans, (W_img,H_img))
            label = cv2.warpAffine(label, trans, (W_label,H_label))  
            x[i-_from, :, :, :] = img
            y[i-_from, :, :, :] = label     
            ratio = np.maximum(np.float32(np.count_nonzero(label)), *****) / ((*****)*batchsize)
            r = np.where(y > *****, *****, *****).astype(np.float32)    
        return x, y, r
```