常連

注目の的

回答者

ベストアンサー

先生

情報収集家

自己紹介

### 前提・実現したいこと

pythonのmatplotlibで作成した3dグラフに面を作成して、指定したx,y座標に存在する面のz座標を全て取得したいですが、方法がわかりません。教えていただけると幸いです。
ソースコード内ではx,y=(5,5)を指定すると、z=[4,5]が出力されるようにしたいです。


### ソースコード

```python
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import mpl_toolkits.mplot3d.art3d as art3d


fig = plt.figure(figsize=(5,5),dpi=120)
ax = fig.add_subplot(111, projection='3d')


#面の作成
x = [4,4,6,6]
y = [4,6,6,4]
z = [5,5,5,5]
poly = list(zip(x,y,z))
ax.add_collection3d(art3d.Poly3DCollection([poly],color='m'))

x = [4,4,6,6]
y = [4,6,6,4]
z = [5,5,6,6]
poly = list(zip(x,y,z))
ax.add_collection3d(art3d.Poly3DCollection([poly],color='m'))
#グラフの描画設定
ax.set_xlim(0, 10)
ax.set_ylim(0, 10)
ax.set_zlim(0, 10)
ax.set_xlabel("x")
ax.set_ylabel("y")
ax.set_zlabel("z")

#画像出力
plt.savefig("3Dpathpatch.jpg", dpi=120)
#画像表示
plt.show()
```


### 補足情報（FW/ツールのバージョンなど）

Google Colab


pythonの3dグラフに作成した面に対し、指定したx,y座標に存在するz座標を全て取得したい。



### 前提・実現したいこと

Pyinstallerで、StreamlitのPythonスクリプトをexe化しようとしてハマっています。

### 発生している問題・エラーメッセージ

```
2022-01-12 23:04:14.475 INFO    matplotlib.font_manager: Failed to extract font properties from /System/Library/Fonts/Apple Color Emoji.ttc: In FT2Font: Could not set the fontsize (error code 0x17)
2022-01-12 23:04:14.754 INFO    matplotlib.font_manager: Failed to extract font properties from /System/Library/Fonts/Supplemental/NISC18030.ttf: In FT2Font: Could not set the fontsize (error code 0x17)
2022-01-12 23:04:15.013 INFO    matplotlib.font_manager: Failed to extract font properties from /System/Library/Fonts/LastResort.otf: tuple indices must be integers or slices, not str
2022-01-12 23:04:15.269 INFO    matplotlib.font_manager: generated new fontManager
Traceback (most recent call last):
  File "run_streamlit.py", line 2, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "streamlit/__init__.py", line 76, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "streamlit/delta_generator.py", line 71, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "streamlit/elements/arrow_altair.py", line 23, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "altair/__init__.py", line 4, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "altair/vegalite/__init__.py", line 2, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "altair/vegalite/v4/__init__.py", line 2, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "altair/vegalite/v4/schema/__init__.py", line 2, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "altair/vegalite/v4/schema/core.py", line 4, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "altair/utils/__init__.py", line 1, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "altair/utils/core.py", line 13, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "jsonschema/__init__.py", line 29, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "jsonschema/protocols.py", line 18, in <module>
  File "<frozen importlib._bootstrap>", line 991, in _find_and_load
  File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
  File "PyInstaller/loader/pyimod03_importers.py", line 476, in exec_module
  File "jsonschema/validators.py", line 348, in <module>
  File "jsonschema/_utils.py", line 61, in load_schema
  File "pathlib.py", line 1236, in read_text
  File "pathlib.py", line 1222, in open
  File "pathlib.py", line 1078, in _opener
FileNotFoundError: [Errno 2] No such file or directory: '/var/folders/rc/pnkfc6zd6_56b55jxf6zzyhr0000gn/T/_MEIFuSRqn/jsonschema/schemas/draft3.json'
[33085] Failed to execute script 'run_streamlit' due to unhandled exception!

```

### 該当のソースコード
以下が実際に動作させたいmain.pyです。
```main.py
import streamlit as st


def main():
    st.write('Hello, World!')


if __name__ == '__main__':
    main()
```

### 試したこと
main.pyをそのままexe化してもうまく動作しないため、以下のrun_streamlit.pyをexe化させることで対応しようとしています。
```run_streamlit.py
import subprocess
import streamlit as st

subprocess.call('streamlit run main.py', shell=True)
```
ただしこのままだと[こちら](https://teratail.com/questions/118297)のエラーが発生するため、更に以下のhook-streamlit.pyを同ディレクトリに置くことで対応していますが、先述の別エラーにハマってしまっています。
```
from PyInstaller.utils.hooks import copy_metadata

datas = copy_metadata('streamlit')
```


PyinstallerでStreamlitをexe化したい

### 前提・実現したいこと
Pythonのplotlyの機能を使ってガントチャートが作りたいと思っています。
作業者と機械の稼働状況を確認したいのですが、作業者3人を上側に機械2台を下側にしたいです。


### 発生している問題・エラーメッセージ

```
y軸のタスクが、Worker1,Machine1_process,Worker2,Machine2_processと交互になっています。
```

### 該当のソースコード

```Python
import plotly.express as px
import plotly.io as pio
import pandas as pd
import datetime 

def plot_guntt_chart(data):
    df = pd.DataFrame(columns = ["Task","Start","Finish","Resource","Job"])
    for i in data:
        df = df.append(data[i],ignore_index = True)
    fig = px.timeline(df, x_start="Start", x_end="Finish", y="Task",color = "Resource",text = "Job",title = "guntt chart")
    fig.update_yaxes(autorange="reversed")
    fig.show()

sample_data = {
1:{"Task":"Worker1", "Start": datetime.datetime(2021,11,1,9), "Finish":datetime.datetime(2021,11,1,10),"Resource":"Machine1","Job":"JOB1"},
2:{"Task":"Worker2", "Start": datetime.datetime(2021,11,1,9), "Finish":datetime.datetime(2021,11,1,10),"Resource":"Machine2","Job":"JOB2"},
3:{"Task":"Worker3", "Start": datetime.datetime(2021,11,1,9), "Finish":datetime.datetime(2021,11,1,10),"Resource":"Machine3","Job":"JOB3"},
4:{"Task":"Worker3", "Start": datetime.datetime(2021,11,1,9), "Finish":datetime.datetime(2021,11,1,10),"Resource":"Machine3","Job":"JOB3"},
5:{"Task":"Machine1_process", "Start": datetime.datetime(2021,11,1,10), "Finish":datetime.datetime(2021,11,1,11),"Resource":"Machine1","Job":"JOB1"},
6:{"Task":"Worker3", "Start": datetime.datetime(2021,11,1,11), "Finish":datetime.datetime(2021,11,1,12),"Resource":"Machine3","Job":"JOB3"},
7:{"Task":"Machine2_process", "Start": datetime.datetime(2021,11,1,10), "Finish":datetime.datetime(2021,11,1,11),"Resource":"Machine2","Job":"JOB2"}
}
plot_guntt_chart(sample_data)
```
### 利用環境
python:3.7.11
plotly:5.1.0

Python plotlyを用いてガントチャートを作成するときにy軸の並び方を変更したい

VisualStudioからpythonのAIアルゴリズムを利用したいと考えてます。

普段VisualBasicにてWindowsｱﾌﾟﾘｹｰｼｮﾝ開発をしておりますが、
こちらのアプリケーション中にpythonのAIアルゴリズムを織り込みたいです。
可能でしょうか？
可能であればやり方を教えて頂ければ幸いです。

VisualStudioからのpython利用について

Pythonで以下の平面の方程式と法線ベクトルから三次元の座標(x,y,z)に表示させたいのですが自分の思った通りにできません。わかる方よろしくお願いいたします。

**・平面の方程式**
0.47384576X+0.81526163Y+0.33289439Z=485.5651127
**・法線ベクトル n**
上記式からn=(0.47384576, 0.81526163, 0.33289439)
**・平面を通る点(P1とすると)**
P1=(271.8652135, 419.0413591, 45.40356624)

平面と法線ベクトルを表示することはできたのですが、画像1,2のように平面に対して法線ベクトルが垂直ではないように見えます。
以下のコード、もしくは式で何が間違えているのでしょうか。自分ではわからないので教えていただきたいです。
```Python
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
# (x,y)データを作成
a=0.47384576
b=0.81526163
c=0.33289439
h=485.5651127

#こちらの事情によりx,yの範囲は以下のようにしています。
x = np.linspace(267, 277, 10)
y = np.linspace(416, 422, 10)

# 格子点を作成
X, Y = np.meshgrid(x, y)
# Zの作成
Z = (h-a*X-b*Y)/c

# 3Dでプロット
fig = plt.figure()
ax = Axes3D(fig)
mean_x=271.8652135
mean_y=419.0413591
mean_z=45.40356624

ax.scatter(mean_x, mean_y, mean_z,s = 10, c = "green")
ax.plot_surface(X, Y, Z, color="tomato",antialiased=False, alpha=0.3)
ax.quiver(mean_x, mean_y, mean_z,a, b,c,color = "red", length = 1)

# 軸ラベル
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.set_zlabel('z')

# 描画
plt.show()

```
結果の画像です。
二つの角度から見た画像をあげています。
![画像1](4e666e9c1c02e0931af32c15c780315c.png)
画像1 垂直になっているようには見えません

![イメージ説明](408feb9de6c780663fc7c532e0f015e5.png)
画像2

---
以下追記
![イメージ説明](b9e596d9414352ca4a527a38c890d9b6.png)
スケールを合わせた結果

Pythonで平面の方程式と法線ベクトルから3次元のグラフに正しく表示させたい

Yahooのメールサーバーにsmtplibを使用してログインできません。
Gmailは問題なくできました。
メールアドレスとパスワードはコピペして使っているので間違いはないはずです。
Gmailの時もそうでしたがYahooメールのアカウントの設定で外部のSMTPの許可は有効にしております。

実行環境はIDLEです。
```Python
>>> import smtplib
>>> server = smtplib.SMTP_SSL("smtp.mail.yahoo.co.jp" ,465)
>>> type(server)
<class 'smtplib.SMTP_SSL'>
>>> server.ehlo()
(250, b'smtpgate610.mail.ssk.ynwp.yahoo.co.jp\nPIPELINING\n8BITMIME\nSIZE 25600000\nAUTH PLAIN LOGIN XYMYCONNECT')
>>> server.login("自分のメール", "パスワード")
```

エラーメッセージ
```
Traceback (most recent call last):
  File "<pyshell#14>", line 1, in <module>
    server.login("*********", "*********")
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/smtplib.py", line 723, in login
    (code, resp) = self.auth(
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/smtplib.py", line 635, in auth
    (code, resp) = self.docmd("AUTH", mechanism + " " + response)
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/smtplib.py", line 424, in docmd
    self.putcmd(cmd, args)
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/smtplib.py", line 371, in putcmd
    self.send(str)
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/smtplib.py", line 363, in send
    raise SMTPServerDisconnected('please run connect() first')
smtplib.SMTPServerDisconnected: please run connect() first
```

```Python
server.connect()
# .login)のエラーメッセージに先にconnect()しろと書いてあるので試しましたが下記のエラーが出ました
```

そもそも本を参考しにて実行しているのですが、connect()は必要あるのでしょうか？
Gmailにログインはできましたがその時はconnectメソッドは使用しておりません。

.connect()実行後ののエラー

```
Traceback (most recent call last):
  File "<pyshell#15>", line 1, in <module>
    server.connect()
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/smtplib.py", line 339, in connect
    self.sock = self._get_socket(host, port, self.timeout)
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/smtplib.py", line 1040, in _get_socket
    new_socket = super()._get_socket(host, port, timeout)
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/smtplib.py", line 310, in _get_socket
    return socket.create_connection((host, port), timeout,
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/socket.py", line 843, in create_connection
    raise err
  File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/socket.py", line 831, in create_connection
    sock.connect(sa)
ConnectionRefusedError: [Errno 61] Connection refused
```

自分なりに色々、調べたのですが解決策が見つからなかったので質問させていただきました。
よろしくお願いします。

Yahooの設定ページ
https://support.yahoo-net.jp/PccMail/s/article/H000007321

Python Yahooのメールサーバーにsmtplibでログインできない

Pythonを学習中なのですが、typeメソッドの使い所がよくわかりません。
引数の型を返すメソッドなのは理解できるのですが、テキストブックでは何かの確認用？に毎回使われているのですが理由が知りたいです。

例えば以下のように使われています。

```python
import openpyxl
wb = openpyxl.load_workbook("example.xlsx")
type(wb)
# 実行結果<class 'openpyxl.workbook.workbook.Workbook'> 
```

また理解できない点がもう一つあります。以下のようにintの変数を渡すと"class　int"と返ってくるのは理解できるのですが、上記の例ではモジュールのopenpyxlのメソッドが返ってきているように思います。もし勘違いでしたら教えてください。私の理解では型と言えば、int, String, Doubleなどのことだと思っているので上記のような実行結果は理解できません。

以下のようなものは理解できます。
```Python
number = 123
type(number)
<class 'int'>
```

質問をまとめますと
1.typeメソッドはどのような時に使用するのか？
2.例で使用されているopenpyxlのtypeメソッドは何を確認するために書いているのか？
3.実行結果の<class 'openpyxl.workbook.workbook.Workbook'> はなぜ”型”なのか？

以上の3点です。

Pythonやプラグラミングに詳しい方でわかる方がいましたらご回答よろしくお願いします。

Pythonのtypeメソッドについて

### 前提・実現したいこと

pythonの継承元のParentのメソッドの呼び出しにおいて
コード１ではself.print_parent()によって呼び出しています。

コード２ではself.print_parent(self)によって呼び出しています。

この２つのコードの結果は同様でparentとchildが表示されるのですが

個人的にインスタンス化していないコード２の方がメモリの点から良いと思うのですが
どちらを採用すべきでしょうか？

また、@staticmethodと@classmethodでの定義でもインスタンス化を省けますが、それ以外のメリットがないように思えました。もし知見があれば合わせてご教授いただければ幸いです。



### 該当のソースコード

```code1
class Parent:
    
    def print_parent(self):
        print("parent")

class Child(Parent):
   
    def print_child(self):

        print("child")

        self.print_parent()
        

instance = Child()
instance.print_child(Child)
```

```code2

class Parent:
    
    def print_parent(self):
        print("parent")

class Child(Parent):
   
    def print_child(self):


        print("child")

        self.print_parent(self)
       


Child.print_child(Child)
```

pythonの継承元のメソッドの呼び出し

pythonで以下のようにしたところSettingWithCopyWarningという警告が出ました。
プログラムはそのまま進行しましたが気持ちが悪いので解決したいです。
```python
print(df)
df['C'] = df['A']/df['B']
print(df)
```
```output
      A   B
5     3   2
6    11   5
14    2   1
15    9   3
18    5   4
... ... ...
41   25  10
44    8   2
47    8   8
48   17   4
51    6   3

[20 rows x 2 columns]
hogehoge.py:84: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  df['C'] = df['A']/df['B']
      A   B     C
5     3   2   1.5
6    11   5   2.2
14    2   1   2.0
15    9   3   3.0
18    5   4  1.25
... ... ...   ...
41   25  10   2.5
44    8   2   4.0
47    8   8   1.0
48   17   4  4.25
51    6   3   2.0

[20 rows x 3 columns]
```
.locを使えと書かれているので試みましたが駄目でした。
```python
print(df)
df.loc[:,'C'] = df.loc[:,'A']/df.loc[:,'B']
print(df)
```
```output
      A   B
5     3   2
6    11   5
14    2   1
15    9   3
18    5   4
... ... ...
41   25  10
44    8   2
47    8   8
48   17   4
51    6   3

[20 rows x 2 columns]
/home/hoge/anaconda3/lib/python3.7/site-packages/pandas/core/indexing.py:1596: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  self.obj[key] = _infer_fill_value(value)
/home/hoge/anaconda3/lib/python3.7/site-packages/pandas/core/indexing.py:1743: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  isetter(ilocs[0], value)
      A   B     C
5     3   2   1.5
6    11   5   2.2
14    2   1   2.0
15    9   3   3.0
18    5   4  1.25
... ... ...   ...
41   25  10   2.5
44    8   2   4.0
47    8   8   1.0
48   17   4  4.25
51    6   3   2.0

[20 rows x 3 columns]
```

PythonでSettingWithCopyWarningがでる

formatメソッドでの辞書型の使い方について
先日自分が使用しているPython勉強用の資料で以下の2文を見つけました

①
dict = {'hard': "pen", 'name': "Ken"}
print("この {hard} は {name}のものだ".format(dict))
```#KeyError: 'hard'```

②
dict = {'hard': "pen", 'name': "Ken"}
print("この {hard} は {name}のものだ".format(**dict))


①では変数dictの位置（0)を指定できていない為エラーになるのはわかるのですが
②では**が位置の指定を省略できているためエラーが発生しないという理解であっていますでしょうか？
また他にもformatメソッドで使用できる省略の仕方があればご教授ください。

formatメソッドでの辞書型の使い方

pythonで社内のインフラ機器（サーバーやSW、ルーター等）のトポロジーを作成し、
トラフィックが多い箇所の〇を大きくするようなツールを作りたいのですが、
まず、どんなライブラリ（Networkx それともmatplotlib？）を使用すべきかが全く分からない状態です。
ヒントをいただければと思います。

イメージとしては、下記の様なものを作りたいと考えています。
![イメージ説明](ea01f8808eebae25e6660054d984be73.png)

pythonで社内ネットワークトポロジーとトラフィック可視化

以下のサンプルデータ(最下部のコードの欄にあります)は、
地域別の、事故発生件数を、時間別（０時〜２４時のHouｒのみ）に記録したものです。

データの整形をしたいのですが、やり方が間違っていると思われます。

やりたいこととしては、サンプルデータを、地名でGroupbyした、
時間ごとの発生件数を、以下のような表に整形したいです。
|（時間）|横浜|小田原|相模原|
|:--|:--:|--:|
|0|2|Nan|1|
|5|2|3|1|
|12|Nan|Nan|2|
/

現状、df.unstack()　を三回繰り返すことで、目的のデータ型になるのですが、
このやり方が間違っているような気がしています。

最終的にやりたいことは、下記記事のように、地域別のカウントを３つ並べて、棒グラフを作成したいです。
https://hikikomoro.com/2021/02/plotly-stacked-charts/

現状、df.unstack()　を三回繰り返すという、謎のコードになってしまっているのですが、
もっと良い解決策があるような気がします。

この様な場合、上手くdfを整形するやり方をご存じの方がいましたら、
ご教示頂けますと助かります

よろしくお願いいたします。


```ここに言語を入力
# モジュールインストール
import pandas as pd

# サンプルデータフレーム作成
df = pd.DataFrame([[12, '横浜'],
       [13, '横浜'],
       [20, '横浜'],
       [20, '横浜'],
       [21, '横浜'],
       [22, '横浜'],
       [23, '横浜'],
       [22, '横浜'],
       [23, '横浜'],
       [8, '横浜'],
       [15, '横浜'],
       [10, '横浜'],
       [11, '横浜'],
       [13, '横浜'],
       [14, '横浜'],
       [7, '横浜'],
       [13, '横浜'],
       [14, '小田原'],
       [11, '小田原'],
       [10, '小田原'],
       [23, '小田原'],
       [0, '小田原'],
       [19, '小田原'],
       [14, '小田原'],
       [14, '小田原'],
       [11, '小田原'],
       [14, '小田原'],
       [21, '小田原'],
       [22, '小田原'],
       [17, '小田原'],
       [5, '小田原'],
       [15, '小田原'],
       [16, '小田原'],
       [17, '相模原'],
       [10, '相模原'],
       [11, '相模原'],
       [14, '相模原'],
       [15, '相模原'],
       [8, '相模原'],
       [9, '相模原'],
       [0, '相模原'],
       [13, '相模原'],
       [12, '相模原'],
       [14, '相模原'],
       [7, '相模原'],
       [9, '相模原']],
        columns= ['時間','発生地'])

# 発生地でグループ化
df_gp = df.groupby('発生地')
# 時間ごとの発生件数をカウント
df_gp_cnt = df_gp['時間'].value_counts()

# unstack()を三回繰り返すと、目的のデータ型に整形される
df_gp_cnt = df_gp_cnt.unstack()
df_gp_cnt = df_gp_cnt.unstack()
df_gp_cnt = df_gp_cnt.unstack()

# dfを出力
print(df_gp_cnt)


```

Python PandasのDataFrameの整形がうまくできません。マルチインデックスのDataFrameを、キレイに整形したいです。

### 前提・実現したいこと
自動車のグレード検索サイトから、グレード情報を抽出したいです。
そのために、Selenium、BeautifulSoupを使用しています。
　1.Seleniumでサイトアクセス＆グレード検索を行い、検索結果ページのhtml取得
　2.取得したhtmlをBeautifulSoupに渡す
　3.BeautifulSoupのメソッドを駆使し欲しい情報を取得

OS: MacOS Big Sur / Ver. 11.2.3 (M1)
言語: Python 3.6
利用ブラウザ:GoogleChrome
コーディングツール:jupyter notebook

### 発生している問題
三菱自動車のサイトのみ以下問題が発生しています。
（TOYOTAやHONDAなど他サイトでも同じコーディングですが、
　同様の事象は発生していません。）

seleniumのドライバーにて取得したhtmlをBeautifulSoupに渡す際に
情報が抜け落ちている。

※Body以下
【BeautifulSoupに渡す前(= seleniumで取得)のhtml】
```html

<body style="color: #000000">\n
		<form method="POST" name="frmIN" action="GradeSearch.do">\n\n\n
				<div id="headerpop">\n\t
						<div class="headerpopArea">\n\t\n\t\t
								<div class="left">\n\t\t\t
										<div class="inner">\n\t\t\t\t
												<p><img src="share/images/header_logo_01.gif" alt="MITSUBISHI MOTORS" title="MITSUBISHI MOTORS \xe3\x83\x88\xe3\x83\x83\xe3\x83\x97\xe3\x83\x9a\xef\xbd\xb0\xe3\x82\xb8\xe3\x81\xb8" width="93" height="63" /></p>\n\t\t\t</div>\n\t\t</div>\n\t\n\n\t\n\t
								<div class="right">\n\t\t
										<div class="inner"> <a href="#" onclick="window.close()" onkeypress="window.close()"><img src="share/images/cmn_im_03.gif" alt="" width="14" height="10" />\xe9\x96\x89\xe3\x81\x98\xe3\x82\x8b</a></div>\n\t\t</div>\n\t\n\t</div>\n</div>\n\n\n
				<div class="popupcontents">\n
						<p class="headtitle"><span style="font-size: 16px;"><strong></strong></span></p>\n
						<div id="messagetxt"></div>\n
						<script type="text/javascript">
								\n;\n
						</script>\n
						<p></p>\n
						<div class="leftside">\n
								<table cellspacing="0" class="syadai1">\n
										<caption>\n\n</caption>\n
										<tbody>
												<tr>\n
														<th class="rate35"></th>\n
														<td class="rate65"></td>\n</tr>\n
												<tr>\n
														<th></th>\n
														<td></td>\n</tr>\n
												<tr>\n
														<th><strong><font color="red"></font></strong></th>\n
														<td> </td>\n</tr>\n
												<tr>\n
														<th></th>\n
														<td>B11WLTMX </td>\n</tr>\n</tbody>
								</table>\n</div>\n
						<div class="rightside">\n
								<table cellspacing="0" class="syadai1">\n
										<caption>\n\n</caption>\n
										<tbody>
												<tr>\n
														<th class="rate35">\xe9\xa7\x86\xe5\x8b\x95</th>\n
														<td class="rate65">2WD</td>\n</tr>\n
												<tr>\n
														<th></th>\n
														<td>CVT</td>\n</tr>\n
												<tr>\n
														<th>\xe7\x87\x83\xe6\x96\x99</th>\n
														<td>\n</tr>\n</tbody>
								</table>\n</div>\n
						<div class="leftside2">\n
								<div class="mgnb20">000</div>\n
								<div class="mgnb20">\n
										<table cellspacing="0">\n
												<tbody>
														<tr>\n
																<td>\xe6\xb3\xa81\xef\xbc\x89</td>
																<td></td>\n</tr>\n
														<tr>\n
																<td></td>
																<td></td>\n</tr>\n
														<tr>\n
																<td>\xe6\xb3\xa82\xef\xbc\x89</td>
																<td></td>\n</tr>\n
														<tr>\n
																<td></td>
																<td></td>\n</tr>\n
														<tr>\n
																<td></td>
																<td></td>\n</tr>\n
														<tr>\n
																<td></td>
																<td></td>\n</tr>\n</tbody>
										</table>\n\n</div>\n
								<p class="alignright">
										<a href="GradeSearch.do" class="toback">
												<font size="2">\xe6\x88\xbb\xe3\x82\x8b</font>
										</a>
								</p>\n</div>\n</div>\n</form>\n\n
		<div id="footerpop">\n
				<div class="copyrightArea">\n
						<p>\xc2\xa9 Mitsubishi Motors Corporation. All rights reserved.</p>\n</div>\n</div>\n
		\n
		\n
		<script type="text/javascript">
				_satellite.pageBottom();
		</script>\n\n\n</body>
</html>
```

【BeautifulSoupに渡した後のhtml】
```html
<body style="color: #000000">
		<form action="GradeSearch.do" method="POST" name="frmIN">
				<div id="headerpop">
						<div class="headerpopArea">
								<div class="left">
										<div class="inner">
												<p></p>
										</div>
								</div>
						</div>
				</div>
		</form>
</body>
</html>
```


### 該当のソースコード
※グレード検索に使用する車台番号が個人情報にあたるため、マスキングしています
```Python
import time
import chromedriver_binary
from selenium import webdriver
from selenium.webdriver import Chrome, ChromeOptions, Remote
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup
import pandas as pd
chassis_num1 = "XXXXXX"
chassis_num2 = "XXXXXX"

url = "https://www.mitsubishi-motors.co.jp/reference/gradesearch.html"
options = ChromeOptions()
driver = Chrome(options=options)

# ページにアクセス
driver.get(url)

# 同意画面
driver.find_element_by_class_name("mod-link-01__contents").click()
#検索画面
chassisNum_input1 = driver.find_element_by_name("CNO1")
chassisNum_input1.send_keys(chassis_num1)
chassisNum_input2 = driver.find_element_by_name("CNO2")
chassisNum_input2.send_keys(chassis_num2)
# # -- 検索ボタンをクリック
driver.find_element_by_id("kensaku").click()

html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'lxml')
```

この「html」には欲しいグレードの情報を含んだhtmlが入っているのですが、
「soup」に渡すとごっそりなくなってしまいます。(jupyter notebookにて、変数「html」「soup」を確認済み)


### 補足情報（FW/ツールのバージョンなど）

seleniumで取得したhtmlをBeautifulSoupに渡す時に情報が抜け落ちてしまう

メール自動送信ツールを作成中です。
###ソースコード
```python
import datetime
import smtplib
import ssl
from email.mime.text import MIMEText

import sys, codecs
sys.stdout = codecs.getwriter("utf-8")(sys.stdout)

gmail_account = "XXX@gmail.com"
gmail_password = "XXX"
mail_to = "YYY@gmail.com"
send_name = "YYY"

today_date = datetime.date.today()
delively_date = today_date + datetime.timedelta(days=1)
print(today_date,delively_date)
```

###エラー
```
C:\test>python autemail.py
Traceback (most recent call last):
  File "C:\test\autemail.py", line 16, in <module>
    print(today_date,delively_date)
  File "C:\Users\Owner\AppData\Local\Programs\Python\Python39\lib\codecs.py", line 378, in write
    self.stream.write(data)
TypeError: write() argument must be str, not bytes
```

何が原因でしょうか？
どこを修正すべきですか？

TypeError: write() argument must be str, not bytes

### 前提・実現したいこと
Python のMatplotlibで人口数を表す棒グラフを描画しましたところ、縦軸（y軸）の目盛りが指数表記になってしまいました。これを整数表記にし、1,000,000〜5,000,000まで1,000,000刻みになるようにしたいと思いますが、指数のまま変更されません。　どのようにコードを直せば良いか分からず困っております。宜しくお願いします。

![イメージ説明](53ce727a04030c3ac9b6df95af70720b.png)


### 発生している問題・エラーメッセージ

```

```

### 該当のソースコード

```Python

plt.figure(figsize=(20,4))

plt.subplot(1,2,1)
plt.title('北海道の人口',fontsize=20)
plt.xlabel('年',fontsize=15)
plt.ylabel('人',fontsize=15)
plt.bar(h_y, h_m, width=2, color='b', label='男')
plt.bar(h_y, h_f, width=2, color='r', bottom=h_m, label='女')
plt.legend()
plt.grid(linestyle='--')

plt.subplot(1,2,2)
plt.title('東京の人口',fontsize=20)
plt.xlabel('年',fontsize=15)
plt.ylabel('人',fontsize=15)
plt.bar(t_y, t_m, width=2, color='b', label='男')
plt.bar(t_y, t_f, width=2, color='r', bottom=h_m,label='女')
plt.legend()
plt.grid(linestyle='--')
```

### 試したこと
plt.yticks(Start,End,Step)でy軸を整数になるよう、
1,000,000〜5,000,000まで1,000,000刻みで設定しようとしましたが、うまくいきませんでした。
結果：指数表記のままは変わらずでした。
![イメージ説明](a1fb9658a37bc0124c7317c36aa4c1fd.png)

import numpy as np
plt.figure(figsize=(20,4))

plt.subplot(1,2,1)
plt.title('北海道の人口',fontsize=20)
plt.xlabel('年',fontsize=15)
plt.ylabel('人',fontsize=15)
plt.bar(h_y, h_m, width=2, color='b', label='男')
plt.bar(h_y, h_f, width=2, color='r', bottom=h_m, label='女')
plt.yticks(np.arange(1000000,5000000,1000000))
plt.ylim(1000000,5000000)
plt.legend()
plt.grid(linestyle='--')

### 補足情報（FW/ツールのバージョンなど）

Python Matplotlibの目盛りの整数表記の方法

### 前提・実現したいこと

2つのデータフレームを結合する際に、同様のデータがある場合には片方のデータに更新したい

### 発生している問題・エラーメッセージ

old_df
A	1	100
A	2	120
A	3	140
B	1	150
B	2	80
B	3	60

new_df
A	2	130
A	3	140
A	4	140
B	2	100
B	3	65
A	4	10

これらを結合する際にnew_dfにデータがある行はそちらのデータに更新したいです

A	1	100
A	2	130
A	3	140
A	4	140
B	1	150
B	2	100
B	3	65
B	4	10


### 試したこと

concatで結合してから前のデータを消していたのですが、一発で更新できる方法があるのでは？と思い質問させていただきました


ご存じの方よろしくお願いします

【Pandas】データフレームを結合する際に重複があったら更新したい

データ分析を学習しています。
現在のデータファイルは、Excel形式で読み込みに毎回5分ぐらいかかっています。
毎回、時間がかかっていてめんどくさいです。

読み込み方は下記になります。
```ここに言語を入力
df_sample = pd.read_excel('/Users/AAA/BBB/sample.xlsx',sheet_name='XXX',header=1)
```

データファイルの形式はエクセルからCSVの形式に一旦変えてから、読み込みを行って方が早くなるのでしょうか。

また、処理速度に差があるようでしたらどのぐらい差があるかも興味があります。
場合によるかもしれませんので、整数が格納された3列1万行のファイルの読み込みを例とさせてください。
他の場合でご提示できるようでしたら他のものでも構いません。

ご存知の方ご回答お願いいたします。

Python ExcelとCSVの処理速度について

google colab上でpandas query methodを使用した以下のコードでエラーが起こってしまいます。
解決方法をご教授ください。
・使用PC：Macです。
・行ったこと：
　　　　　　　違うPCで起動（win10⇨正常動作）
　　　　　　　pandas,NUMEXP,アナコンダの再インストール
　　　　　　　win10とのpandasのバージョン確認⇨同一Ver
```pyhton
# pipでオリジナルの解答に必要なライブラリーをインストール
!pip install --upgrade pip
!pip install -U pandas numpy scikit-learn imbalanced-learn

# pipでオリジナルの解答に必要なライブラリーをインポート
import os
import pandas as pd
import numpy as np
from datetime import datetime, date
from dateutil.relativedelta import relativedelta
import math
from sklearn import preprocessing
from sklearn.model_selection import train_test_split
from imblearn.under_sampling import RandomUnderSampler


# データを github/noguhiro2002/100knocks-preprocess/work/data フォルダよりDataframe形式でRead
df_customer = pd.read_csv('https://raw.githubusercontent.com/The-Japan-DataScientist-Society/100knocks-preprocess/master/docker/work/data/customer.csv')
df_category = pd.read_csv('https://raw.githubusercontent.com/The-Japan-DataScientist-Society/100knocks-preprocess/master/docker/work/data/category.csv')
df_product = pd.read_csv('https://raw.githubusercontent.com/The-Japan-DataScientist-Society/100knocks-preprocess/master/docker/work/data/product.csv')
df_receipt = pd.read_csv('https://raw.githubusercontent.com/The-Japan-DataScientist-Society/100knocks-preprocess/master/docker/work/data/receipt.csv')
df_store = pd.read_csv('https://raw.githubusercontent.com/The-Japan-DataScientist-Society/100knocks-preprocess/master/docker/work/data/store.csv')
df_geocode = pd.read_csv('https://raw.githubusercontent.com/noguhiro2002/100knocks-preprocess_ForColab-AzureNotebook/master/data/geocode.csv')

df_sales_amount = df_receipt.query('not customer_id.str.startswith("Z")', engine='python')
df_sales_amount = df_sales_amount[['customer_id', 'amount']].groupby('customer_id').sum().reset_index()
df_sales_amount['sales_flg'] = df_sales_amount['amount'].apply(lambda x: 1 if x > 2000 else 0)
df_sales_amount.head(10)
```
エラーは以下
```python
---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
<ipython-input-24-303c66cfc474> in <module>()
----> 1 df_sales_amount = df_receipt.query('not customer_id.str.startswith("Z")', engine='python')
      2 df_sales_amount = df_sales_amount[['customer_id', 'amount']].groupby('customer_id').sum().reset_index()
      3 df_sales_amount['sales_flg'] = df_sales_amount['amount'].apply(lambda x: 1 if x > 2000 else 0)
      4 df_sales_amount.head(10)

3 frames
/usr/local/lib/python3.7/dist-packages/pandas/core/computation/eval.py in _check_engine(engine)
     39         Engine name.
     40     """
---> 41     from pandas.core.computation.check import NUMEXPR_INSTALLED
     42 
     43     if engine is None:

ImportError: cannot import name '_NUMEXPR_INSTALLED' from 'pandas.core.computation.check' (/usr/local/lib/python3.7/dist-packages/pandas/core/computation/check.py)

---------------------------------------------------------------------------
NOTE: If your import is failing due to a missing package, you can
manually install dependencies using either !pip or !apt.

To view examples of installing some common dependencies, click the
"Open Examples" button below.
---------------------------------------------------------------------------
```

使用教材：Google Colab, Azure Notebooks移植版：データサイエンス100本ノック（構造化データ加工編）
https://github.com/noguhiro2002/100knocks-preprocess_ForColab-AzureNotebook/blob/master/preprocess_knock_Python_Colab.ipynb

python pandas queryメソッドでのエラー

```python
df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 367 entries, 0 to 366
Data columns (total 6 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   date    365 non-null    object 
 1   7       367 non-null    float64
 2   8       367 non-null    float64
 3   9       367 non-null    float64
 4   10      367 non-null    float64
 5   11      205 non-null    float64
dtypes: float64(5), object(1)
memory usage: 17.3+ KB
```
```python
df.head()

date	7	8	9	10	11
0	9/1	15.0	9.0	17.0	13.0	11.0
1	9/2	14.0	12.0	7.0	10.0	9.0
2	9/3	10.0	13.0	16.0	9.0	7.0
3	9/4	12.0	6.0	12.0	5.0	10.0
4	9/5	11.0	14.0	14.0	10.0	9.0
```
このようなデータをto_datetimeを使って、日付型にしたときに、
```pyrhon
df['date'] = pd.to_datetime(df['date'], format = '%m/%d')
df
	date	7	8	9	10	11
0	1900-09-01	15.0	9.0	17.0	13.0	11.0
1	1900-09-02	14.0	12.0	7.0	10.0	9.0
2	1900-09-03	10.0	13.0	16.0	9.0	7.0
3	1900-09-04	12.0	6.0	12.0	5.0	10.0
4	1900-09-05	11.0	14.0	14.0	10.0	9.0
...	...	...	...	...	...	...
360	1900-08-27	9.0	13.0	15.0	15.0	NaN
361	1900-08-28	11.0	13.0	11.0	12.0	NaN
362	1900-08-29	8.0	13.0	10.0	5.0	NaN
363	1900-08-30	8.0	11.0	11.0	8.0	NaN
364	1900-08-31	5.0	15.0	10.0	11.0	NaN
```
このように1900ーが勝手についてしまいます。1900を付けずに、月と日だけにすることは可能でしょうか。

pandasのto_datetimeの変換のformatを指定したい。

### 前提・実現したいこと

FOR文で10個の棒グラフを描写したい

### 発生している問題・エラーメッセージ

AXEは10個描写できるのに対し、１個目のAXEに1個目のコラム’Class’のデータが描写されず、2個目のコラム’age’のデータが
描写されてしまう。
また10個目のAXEにはデータがまったく表示されない

### 該当のソースコード
```python
plt.figure(figsize=(30,10))
for i,col in enumerate(['Class', 'age', 'menopause', 'tumor-size', 'inv-nodes', 
                         'node-caps','deg-malig', 'breast', 'breast-quad', 'irradiat']):
    data[col].value_counts().plot.bar()
    plt.subplot(2,5,i+1)
    plt.xlabel(col)
    plt.title('')

plt.show()
plt.tight_layout()
```
Python
Google colab

### 試したこと

コラムをClassだけとし、subplot(1,1,i+1)とすると、
Classのデータが正しく描写できました。

### 補足情報（FW/ツールのバージョンなど）

Enumerateが上手く行っていない気がしますが、これ以上解決が思い浮かばず、
是非とも御指南よろしくお願い致します。