常連

注目の的

社会貢献

質問力

Pandasで重複した行を結合し、その中にある文字列ないしは数値を合算させることはできますか？


例えば
```Python Pandas
import pandas as pd

#Before
df_before = pd.DataFrame({'key1' : ['a', 'a', 'b', 'b', 'a'],
                   'key2' : ['あい', 'うえ', 'さしす', 'せそ', 'お'],
                   'data1' : [4,4,3,3,4]})

   data1 key1 key2
0      4    a   あい
1      4    a   うえ
2      3    b  さしす
3      3    b   せそ
4      4    a    お

#After
df_after = pd.DataFrame({'key1' : ['a','b'],
                   'key2' : ['あいうえお', 'さしすせそ'],
                   'data1' : [12,6]})

   data1 key1   key2
0     12    a  あいうえお
1      6    b  さしすせそ

```

に変換したいのですが、pandas のgroup_byでやろうとしましたが、うまくできません。

どうしたら良いでしょうか？
アドバイスお願いします。

Pandasで重複した行を結合し、その中にある文字列ないしは数値を合算させることはできますか？

pythonの３次元ベクトルマップの各ベクトルの色をベクトルの長さに応じて、色をグラデーションでつけたいです。（cmapの"Spectral"などの色で。）
どのようにすればよろしいでしょうか。困っています。


現状のコードは下記の通りになります。
Xcoor,Ycoor,Zcoorがぷろっとする座標であり、Fx,Fy,Fzがプロットするベクトルの各座標成分になります。
#############################################################
from mpl_toolkits.mplot3d import axes3d
Gxy=5*10**13
Gz=5*10**11
L_vector=np.sqrt(Gxy*Fx[:,0]**2+Gxy*Fy[:,0]**2+Gz*Fz[:,0]**2)
fig = plt.figure()
ax = fig.gca(projection='3d')
ax.quiver(Xcoor*10**9,Ycoor*10**9,Zcorr,Gxy*Fx[:,0],Gxy*Fy[:,0],Gz*Fz[:,0],arrow_length_ratio=0.0, pivot='tip',colors="r")# #
plt.xlim([np.min(Xcoor*10**9),np.max(Xcoor*10**9)])
plt.ylim([np.min(Ycoor*10**9),np.max(Ycoor*10**9)])
ax.set_zlim([0, 5])
plt.show()

python3Dベクトルマップの色

下図のようなdataframeの結合は可能でしょうか？

良いアイデアがあれば、アドバイスください。


![イメージ説明](393a9ab9eb3b888ef7ec182ae549c49f.png)

python dataframe 結合方法（条件付き）

Pythonによるグループ分け (上位●●%など)

ある試験の結果が入力されたcsvファイルを読み込み、
その点数によって上位30%, 中位40%, 下位30%にグループ分けを実施したいと考えています。

pandasを使用してのファイルの読み込みとランク付けまではできたのですが、
上位30%などで区切る方法がわかりません。

また、それぞれのグループ毎に表を作製し、Excelで出力したいのですが、
その方法についてもご教授いただけますと幸いです。

現在できているもの

氏名    点数
A 　　　10
B　　  　9
C      　 8
D      　 7
E      　 6
F      　 5


表のイメージ (excel出力)

上位グループ 中位グループ　下位グループ
　　　A　　　　　　C　　　　　E
　　　B　　　　　　D　　　　　F
　　　・　　　　　・　　　　　・
　　　・　　　　　・　　　　　・

Pythonによるグループ分け方法について (上位●●%など)

現在データ処理をしたく、pythonのpandasを勉強しています。

そこで一つのディレクトリに入っている複数のCSVを次々に読み込んでDataFrameを作りたく、
for文を用いて処理しようとしているのですが、うまく行きません。

当該コードは以下のようになります。



実現したいことを逐一記すと…
import pandas as pd

df**13**_001  = pd.read_csv("**13**_001.csv", header = 1)
df**17**_001  = pd.read_csv("**17**_001.csv", header = 1)
df**19**_001  = pd.read_csv("**19**_001.csv", header = 1)
・・・これが複数続く。

これを処理するために、

list = ["13", "17", "19"]
for i in list:
   "row_df"+i+"_001" = pd.read_csv(""i"_001.csv" , header = 1)

とやっているのですが、うまくいきません。

print("row_df"+i+"_001")

とするとこの部分は処理できているようなので、後半部分が問題だと思います。
どのように記述すれば良いか教えていただけないでしょうか。
このコードの書き方以外にもこう書いたら良いよというのがあれば、よろしくお願い致します。

for文でファイルを連続して読み込みたいのです。

データ
a
a b 
a b b
a b c 
a b c d
a a a b
a d d d a

という構造のcsvがあるとします。
このとき、bを含む行を削除したいです。このとき、
a
a d d d a
というふうに返したいです。
df.drop('b', axis=0)では、うまくいきませんでした。

pandas: 特定のワードを含む行を削除

### 前提・実現したいこと
pandasのDateTimeIndex型のインデックスとなっているデータで、Aのデータのみ平均化を行った後、時刻のみ指定してデータを抽出方法があれば、ご教授頂きたいです。

A              B
TIME
2019-01-15 00:00:00.400              10             200
2019-01-15 00:10:00.400               6            2051
2019-01-15 00:20:00.400              10               5
2019-01-15 00:30:00.400               2             123
2019-01-15 00:40:00.400              11            1234
2019-01-15 00:50:00.400               7            1342
2019-01-15 01:00:00.400              10           61234
2019-01-15 01:10:00.400              10             200
2019-01-15 01:20:00.400               6            2051
2019-01-15 01:30:00.400              10               5
2019-01-15 01:40:00.400               2             123
2019-01-15 01:50:00.400              11            1234
2019-01-15 02:00:00.400               7            1342
2019-01-15 02:10:00.400              10            6234
2019-01-15 02:20:00.400              10           13234
2019-01-15 02:30:00.400              10            6264
2019-01-15 02:40:00.400              10            6124
2019-01-15 02:50:00.400              10            6234
### 出てほしい結果
1行目は0時台10+6+10+2+11+7=46を平均した7.66666666667を、
2行目は1時台10+10+6+10+2+11=49を平均した8.16666666667を表示させたいです。
A              B
TIME
2019-01-15 01:00:00.400             7.66666666667           61234
2019-01-15 02:00:00.400             8.16666666667           1342
###試したこと
meanで全体の平均を出す方法は分かったのですが、時刻のみ指定してで表示方法が分かりませんでした。

pandasで特定の行ごとの平均をとり、時刻のみ指定してデータを抽出方法

### 前提・実現したいこと
pandasのDateTimeIndex型のインデックスとなっているデータで、時刻のみ指定してデータを抽出方法があれば、ご教授頂きたいです。

　　　　　　　　　　　　　　　　　       A              B
TIME
2019-01-15 00:00:20.400              10             200
2019-01-15 00:01:22.400               6             2051
2019-01-15 00:03:24.400              10               5
2019-01-15 00:05:26.400               2             123
2019-01-15 00:08:28.400              11            1234
2019-01-15 01:10:30.400               7            1342
2019-01-15 02:00:32.400              10           61234

###出てほしい結果
時間指定をするだけで表示を行えるようにしたいです。
                                      A              B
TIME
2019-01-15 00:01:22.400               6            2051
2019-01-15 01:10:30.400               7            1342
2019-01-15 02:00:32.400              10           61234


### 発生している問題・エラーメッセージ

data['2019-07-15 00:00:20']と指定の形式で表示を行うと表示されましたが、
data['2019-01-15 00:00:20','2019-01-15 01:10:30']と複数指定を行うと表示されませんでした。

### 試したこと
 print(data.asfreq('H'))と指定して一時間ごとに表示するやり方や、
data['2019-01-15 00:00:20':'2019-01-15 01:10:30']で指定した区間のデータを表示する方法は分かりました。しかしながら、必要ないデータも出てくるので
複数選択を行うことで表示できる方法を知りたいです。

pandasのDateTimeIndex型のインデックスとなっているデータで、時刻のみ指定してデータを抽出方法

### 前提・実現したいこと

pythonを使って方程式を解きたいです。
sympyモジュールを使って次の方程式を解きます:

a * x**3 - b*x - c = 0

係数a, b, cは動的に与えられるものとしたいのですが、どう書くのがルールなのでしょうか。

ちなみに、係数があらかじめ決まっている場合は次のように書くことはわかっています。

x = Symbol('x', positive = True)
f = 4*x**3 -2 *x - 1
x0 = solve(f, x)

よろしくおねがいします。
### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

python sympyを使って方程式を解く

pythonを使って、

19/09/15/08:00:00 0.587
19/09/15/08:00:10 0.689
・
・
・

の時系列データにローパスフィルタをかけたいのですが、どうすればよろしいんでしょうか。
19/09/15/08:00:00の形の時系列データを読み込む方法、時系列データのフィルタ処理、いくら調べてもわからないです。。

pythonによる時系列データのフィルタ処理

現在、以下のようなコードで、エクセルに列名を、書き込んでいます。

df = pd.DataFrame(x_test_keras_1)
df['y_test_keras_2'] = y_test_keras_2
df.to_excel('keras_kakaku_2.xls', **header=['1列目','2列目','3列目']**, index=None)

この、'1列目','2列目','3列目'が、140列くらい沢山あるのですが、
簡潔に記載するにはどうすればよいでしょうか？

ご指導頂ければ助かります。
よろしくお願いいたします。

python：エクセル書込みで列名（ヘッダー）を付けたい。

> ヘディングのテキスト### 前提・実現したいこと

networkxをつかって
ノード間に2つのエッジを表示させたいです。


### 発生している問題・エラーメッセージ

MultiDiGraphを使ってグラフ作成をしているが、2本のエッジではなくA↔️Bのようなエッジになってしまう。　
エッジが重なり重みなどで太さを変えても、分かりづらいため2本にしたい

###ソースコード
import networkx as nx

G = nx.MultiDiGraph()
G.add_nodes_from([1,2])
G.add_edge(1,2,weight=1)
G.add_edge(2,1,weight=2)
pos = nx.spring_layout(G)
edges_weight = [d["weight"] for (u,v,d) in G.edges(data=True)]
nx.draw_networkx_nodes(G,pos)
nx.draw_networkx_edges(G,pos,width=edges_weight)

![イメージ説明](8c7c8dd8aaed792edcd1dd8aee874e1a.png)
Python3.7.0

ここにより詳細な情報を記載してください。

Networkxを使った多重グラフの表示

### 前提・実現したいこと

Python初心者です。
python(Spyder)でbinaryファイルからデータを取り出す作業をしています。
その際に　case1, case2, case3, case4, case5...という順番でファイルの読み込みをしたいのですが、
現在のところ　case1, case11...case19, case2, case21...という順番で読み込みをしているようです。
数日前までは希望通りの順番で読み込みをしていたので原因は不明ですが、解決策はありますでしょうか？

### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```Python
import os
os.getcwd

import glob
import pickle

File=glob.glob('./*.binaryfile')
File=[os.path.basename(r) for r in File]
FileNum=len(File)
Name=[0]*FileNum
for m in range(0,FileNum):
     name,ext=os.path.splitext(File[m])
     Name[m]=name


#以下エラーが出たコード
import os
os.getcwd

import glob
import pickle
from natsort import natsorted

File=natsorted(glob.glob('./*.binaryfile'))
File=[os.path.basename(r) for r in File]
FileNum=len(File)
Name=[0]*FileNum
for m in range(0,FileNum):
     name,ext=os.path.splitext(File[m])
     Name[m]=name

```

### 試したこと

natsortを試してみましたがsyntaxErrorが出てしまいました。
natsortはAnaconda3¥pkgsにインストールされています。

### 補足情報（FW/ツールのバージョンなど）

Spyder(Python3.6)
ソフトウェアとのリンクの都合上Python3.6を使っています。

Pythonでファイルを読み込む順番をかえたい

### 前提・実現したいこと
pythonを使用して紙の波形データ（心電図や脈波など）を分析したい。

### 発生している問題・エラーメッセージ
プログラミング初心者です。
心電図などの紙媒体で保存している波形データをデジタルデータでグラフに変換し解析したいと思っています。紙媒体をスキャンしてpandasなどで扱えるデジタルデータとして取り込むためには、どのようなライブラリをimportすればよいでしょうか？
紙媒体には数字や文字などもグラフ外に記載されているので、最終的にはグラフの枠の内側のみ解析するのが目標です。

```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）
Python3.61

紙媒体の波形データの取り込み

下記のようなpandasのDateTimeIndex型のインデックスとなっているデータ:dataで、時刻のみ指定してデータを抽出方法があれば、ご教授頂きたいです。
説明不足でしたので、追記します。

data

datetime                open	hi	low	close
2017-08-25 00:15:00	129.521	129.538	129.496	129.513
2017-08-25 00:30:00	129.521	129.538	129.496	129.513
2017-08-25 00:45:00	129.521	129.538	129.496	129.513
2017-08-26 00:15:00	129.521	129.80	129.65	129.200
2017-08-26 00:30:00	129.521	129.538	129.496	129.513
2017-08-26 00:45:00	129.521	129.538	129.496	129.513

上記のような時系列データから例えば違う日付でも「00:15:00」の時間の
データのみ抽出したいです。

2017-08-25 00:15:00	129.521	129.538	129.496	129.513
2017-08-26 00:15:00	129.521	129.538	129.496	129.513

data[data.index == '00:15:00']としてもデータがヒットしません。

よろしくお願いいたします。

pandas DateTimeIndex型の時刻のみ指定したデータ抽出について

pandasでデータフレームを作成してmatplotlibで作図したいと考えています.
・データはExcelからpandasで読み込みました.
・作図をしたところ, 以下の二つのグラフが生成されました.
```Python
#データ生成
import pandas as pd
import matplotlib.pyplot as plt
input_book = pd.ExcelFile('data.xlsx')
input_file_name = 'data.xlsx'
input_book = pd.ExcelFile(input_file_name) 
input_sheet_name = input_book.sheet_names

input_sheet_df3 = input_book.parse(input_sheet_name[3])
input_sheet_df4 = input_book.parse(input_sheet_name[4])

#作図
fig = plt.figure(figsize=(10,8))
ax1 = plt.subplot2grid((2,2), (0,0))
ax2 = plt.subplot2grid((2,2), (0,1))

ax1.scatter(input_sheet_df3['T (K)'], input_sheet_df3['a'], linewidth=2, c='b')
ax2.scatter(input_sheet_df4['T (K)'], input_sheet_df4['a'], linewidth=2 , c='red')

ax1.set_xlabel('T [K]')
ax2.set_xlabel('T [K]')
ax2.set_ylabel('a lattice [Å]')
```
生成されたグラフ
![得られた図](4a043e9c0e00385383b0992fda4c7608.png)


### 実現したい内容
・2つのグラフを1つのグラフに統合したい.
・以下の模式図のようデータを1つのグラフに結合したい.
![イメージ説明](75d73fc1000a80e435ae3a6f52442a96.jpeg)

よろしくお願いします.

pandasとmatplotlibで複数のデータ(n≧2)を可視化したい.

python matplotlib で
下のコードのように媒介変数表示してグラフにプロットを行いたいのですが
x_all.append(x[0])の位置で invalid index to scalar variable.とエラーが出ます．
参考にしているコードではこの方法でプロットできているのですがなぜこちらだとエラーがでたのかが分かりません．何かうまくいく方法が分かる方は教えていただきたいです．


```import numpy as np
import matplotlib.pyplot as plt
import matplotlib.ticker as tick
import math as m
from matplotlib.animation import ArtistAnimation 

r = 190
theta = np.arange(0,2*m.pi+1,0.1)

plt.rc("font",family="serif")
plt.figure()
plt.xlim([-200,200])
plt.ylim([-200,200])
plt.plot(r*np.cos(theta),r*np.sin(theta))

plt.gca().xaxis.set_minor_locator(tick.MultipleLocator(1))
plt.gca().yaxis.set_minor_locator(tick.MultipleLocator(1))
plt.grid(which="minor")

anim = []
tt = np.arange(0,10,0.1)

x_all = []
y_all = []

omegas = 0.02*m.pi
omegap = 0.02*m.pi
omegac = 0.02*m.pi
x0 = 0
y0 = 0
d = 50

for t in tt:
    x = (90*np.cos(omegas*t)+95)*np.cos(omegap*t)+d*np.cos(omegac*t)
    y = (90*np.cos(omegas*t)+95)*np.sin(omegap*t)+d*np.sin(omegac*t)
    x_all.append(x[0])
    y_all.append(y[0])
    im = plt.plot(x,y,"o",x_all,y_all,"--",color="red",markersize=10,linewidth=2,aa=TRUE)
    anim.append(im)

anim = ArtistAnimation(fig,anim)

plt.show()

コード
```

pythonでのデータの抽出について

こちらで解決済みにした質問に関する追加の質問です。
https://teratail.com/questions/176153
上のURLでの質問ではVの字の三分割ということで質問をしたのですが以下のようなV字のように配置されたランダムな図形の集まり(以下V図形と呼びます)に関して質問させてください。
以下のような入力画像を三分割にする方法はありますでしょうか？
【条件】(説明しづらいので伝わらなかったら追記での質問をお願いします。)
・入力画像はオレンジと白の2色だけで構成されます。
・出力画像の長方形はそれぞれV図形の白い部分を囲む最小の大きさの長方形です。
・V図形の輪郭のうちy座標が最も小さい二点(黒い点)をつないだ直線(緑線)と図形の輪郭内側(黒い部分)をくぼみ図形と呼びます。
![イメージ説明](f9a1e7e7dcbb338a7a54f955062029e4.png)
・青い点はくぼみ図形の中で一番y座標が最も大きい点として定義します。
※y座標が最も大きい点が複数ある場合は複数の点の真ん中のx座標を持つV図形の輪郭上の点とします。
・3の長方形は画像の青い点を通ります。(1,2は通らなくてもよい。)

![イメージ説明](1172056db682f7898a3997bd73a9e6fb.png)
入力画像
![イメージ説明](e1be8b33d2e476914853790a25cde6b5.png)
出力画像(目視で書いたものなので実際この画像になる必要はありません。条件を満たした四角形の枠の表示をしたいです。)
![イメージ説明](920d46aa7fb6e834120c29b956487a07.png)

V字のような図形を三分割する方法について

以下の図のように様々な画像がランダムで散らばっている画像について一番面積の大きい白い部分だけ残した画像を出力したいときどのような方法をとればよいのでしょうか？pythonでの実装を考えています。よろしくお願いします。
入力画像
![](a94225b5167fe9f95e8eefccfba1920a.png)
出力画像
![イメージ説明](692673b68c67c56ab3f81658859e1003.png)

一番面積の大きい図形の抽出

### 前提・実現したいこと
現在、データ分析の課題をやっていて、データのインポート、前処理、mergeをしております。
データの形が違うデータを前処理して扱いやすい形に直すことに苦戦しています。


### 発生している問題

```python
CountryName    2000      2001      2002      2003      2004
Country1      Value10   Value11   Value12   Value13   Value14
Country2      Value20   Value21   Value22   Value23   Value24
Country3      Value30   Value31   Value32   Value33   Value34
```
となっているpandasデータフレームを
```python
CountryName  Year    VALUE
Country1     2000    Value10
Country1     2001    Value11
Country1     2002    Value12
Country1     2003    Value13
Country1     2004    Value14
Country2     2000    Value20
Country2     2001    Value21
Country2     2002    Value22
Country2     2003    Value23
Country2     2004    Value24
Country3     2000    Value30
Country3     2001    Value31
Country3     2002    Value32
Country3     2003    Value33
Country3     2004    Value34

```
としたいのです。

### 試したこと
以前同じ問題に対処した時には転置した後でExcelファイルを手作業でいじって直しました。しかし今後もデータ分析を行うので、今回はこれをPandas上だけで対処できたらいいなと思い相談させていただきます。ググろうとしたのですが、上手く検索する言葉が思いつかず、直接的に解決することができなかったです。データのフォーマットが整っていないときに複数の作業を組み合わせて効率よく対処するコツや流れがありましたら教えてくだされば嬉しいです。

### 補足情報（FW/ツールのバージョンなど）
Python3.7を使ってます。pandasのデータフレームで処理してます。