[Pandas] 複数要素の度数分布表とヒストグラム

Question

Pandas初心者です。

天気と湿度の関係を度数分布とヒストグラムで表そうとしています。
具体的には、下記の図の左側のデータから右側のような度数分布表を目指しています。

自分でも調べてみて、例えば「晴れ」の列のみの場合は、「晴れ」だけを抽出した別途dfを作成してmatplotlib.pyplotで.histを使ってヒストグラムを書くことは出来ました。

しかし、実際に欲しいのは、「湿度が10％以上20％未満」の時に、「晴れ／曇り／雨」がそれぞれ何回出現するかというデータです。出来ましたら、それを使ってのヒストグラムの書き方もお教え頂ければ助かります。

どうか、よろしくお願いします。

[環境]
Mac Os Catalina
Python 3.8
Jupyter Notebook 6.0.1
pandas 0.25.1

Comments

[jeanbiego]

出来たコードと、テスト用のデータ（ファイルのURLか、コピペできる形式のもの）とを記載したほうが回答がつきやすいかと思います。

[ppaul]

湿度が10％の場合は、0～10%と10～20%のどちらに入れるのですか。そして、0％と100％はどこに入れるのですか？

Answer 1

度数分布票の作成です。
まず元データの作成。

import pandas as pd
import io

indata = '''天気   湿度
晴れ 20%
曇り 60%
晴れ 0%
曇り 10%
曇り 60%
曇り 25%
雨 100%
晴れ 15%
曇り 70%
雨 60%'''

with io.StringIO(indata) as f:
    df = pd.read_csv(f, sep=' +', engine='python')

print(df)

実行結果

...
>>> print(df)
   天気    湿度
0  晴れ   20%
1  曇り   60%
2  晴れ    0%
3  曇り   10%
4  曇り   60%
5  曇り   25%
6   雨  100%
7  晴れ   15%
8  曇り   70%
9   雨   60%

度数分布表の作成です。

import pandas as pd
import numpy as np

def classify(row):
    m = float(row['湿度'][:-1])
    level = int(m/10)*10
    if level == 100:
        level = 90
    return f'{level}%-{level+10}%'

df['範囲'] = df.apply(classify, axis=1)
df2 = pd.concat([df, pd.get_dummies(df['天気'])], axis=1).drop(['天気','湿度'], axis=1)
df3 = pd.pivot_table(df2, index='範囲', values=['晴れ', '曇り', '雨'], aggfunc=np.sum)

df_i = pd.DataFrame({'範囲':[f'{i}%-{i+10}%' for i in range(0,100,10)]})
df4 = pd.merge(df_i, df3, on='範囲', how='outer').fillna(0).astype({'晴れ':int, '曇り':int, '雨':int})
print(df4)

実行結果

>>> print(df4)
         範囲  晴れ  曇り  雨
0    0%-10%   1   0  0
1   10%-20%   1   1  0
2   20%-30%   1   1  0
3   30%-40%   0   0  0
4   40%-50%   0   0  0
5   50%-60%   0   0  0
6   60%-70%   0   2  1
7   70%-80%   0   1  0
8   80%-90%   0   0  0
9  90%-100%   0   0  1

グラフの表示です。

import matplotlib.pyplot as plt
x_datas = [1, 2, 3, 4, 5,6 ,7, 8, 9, 10]
fine = df4['晴れ']
cloudy= df4['曇り']
rain = df4['雨']
fig = plt.figure()
ax = fig.add_subplot(1, 1, 1)
ax.bar(x_datas, fine, label='晴れ')
ax.bar(x_datas, cloudy, bottom=fine, label='曇り')
ax.bar(x_datas, rain, bottom=cloudy, label='雨')
plt.xticks(x_datas, df4['範囲'])
plt.legend()
plt.show()

実行結果

Comments

[luciano]

ご回答ありがとうございます。
また、返答が遅くなり申し訳ありません。

お示しいただいた結果は、望んだ通りのものです。
ただ、次の点でつまずいてしまいました。

”def classify(row):”が、範囲（階級）を作るためのものかと思います。
元のdfにおいて「湿度」のデータ形式は「float64」（小数そのまま）となっているためか、頂いたコードをそのまま試してみると、TypeError: ("'float' object is not subscriptable", 'occurred at index 0')が出てしまいます。

この点、どう書き換えれば良いか、お手数ですがご教示頂ければ幸いです。

なお、範囲の端点は、「以上〜未満」としていますが、ご指摘の通り、これでは100％（=1.0）が入らなくなるので、Excelでは最後の階級だけ「0.9以上」のように処理していました。

[phoepsilonix]

以下の行だけ修正してみてください。
m = float(row['湿度'])

[ppaul]

pandasでcsvを読み込むと、20%というのは文字列になっているので、[:-1]で最後の文字を取り除き、'20'を数にするためにfloat()を使っています。
xlsxから読み込む場合は、20％は0.2という浮動小数なので、この処理は必要ありません。
phoepsilonixさんの書かれている
m = float(row['湿度'])
でもいいですが、
m = row['湿度']
でも十分です。

[ppaul]

小数をパーセントにしたいのだから100倍する必要がありました。
m = row['湿度']*100
としてください。

[luciano]

ppaul様
ご指摘の通りでうまく動くようになりました。
有難うございました。

[luciano]

phoepsilonix様
有難うございました。

Answer 2

dfは下記とする。

	天気	湿度
0	晴れ	20
1	晴れ	50
2	雨	90
3	曇り	70
4	晴れ	10
5	雨	60
6	雨	65
7	曇り	45
8	晴れ	30

df1 = df[df['天気']=='晴れ']
y1, x1 = np.histogram(df1['湿度'], bins = 10, range=(0, 100))
df2 = df[df['天気']=='曇り']
y2, x2 = np.histogram(df2['湿度'], bins = 10, range=(0, 100))
df3 = df[df['天気']=='雨']
y3, x3 = np.histogram(df3['湿度'], bins = 10, range=(0, 100))
plt.bar(x1[1:] - 3, y1, width=3, label='晴れ')
plt.bar(x2[1:], y2, width=3, label='曇り')
plt.bar(x3[1:] + 3, y3, width=3, label='雨')
plt.legend()
plt.show()

Comments

[luciano]

ご回答ありがとうございます。
また、返答が遅くなり申し訳ありません。

頂いたコードを試してみました。
実際のデータでやってみると、同じ階級内に「晴れ／曇り／雨」のそれぞれが同時に存在するので、ヒストグラムの棒が被ってしまいます。これを同階級内でそれぞれの棒が横に並ぶか、もしくは縦に積み上げるような感じには出来るでしょうか？

[meg_]

上書きプロットしていた箇所を修正しました。数値はバーの幅に合わせて調整してください。

[luciano]

meg_様
有難うございました。