python pandas groupby()のエラーを解決してほしいです

Question

実現したいこと

ここに実現したいことを箇条書きで書いてください。
pandasでおきたエラーを解決したい

前提

ここに質問の内容を詳しく書いてください。

pandaでデータ分析の勉強中です
groupby()を使いたいのですがエラーがおきて使えません

発生している問題・エラーメッセージ

都道府県コード	都道府県名	元号	和暦（年）	西暦（年）	人口（総数）	人口（男）	人口（女）
0	0	全国	大正	9.0	1920.0	55963053	28044185	27918868
1	1	北海道	大正	9.0	1920.0	2359183	1244322	1114861
2	2	青森県	大正	9.0	1920.0	756454	381293	375161
3	3	岩手県	大正	9.0	1920.0	845540	421069	424471
4	4	宮城県	大正	9.0	1920.0	961768	485309	476459
...	...	...	...	...	...	...	...	...

 "None of [Index(['人口（総数）', '人口（男）', '人口（女）'], dtype='object')] are in the [columns]"```

### 該当のソースコード

```python
a.groupby(by='都道府県名').mean()[['人口（総数）','人口（男）','人口（女）']].round(0)

試したこと

print(a.columns)でカラムをそのままコピーしてみましたが同じくエラーでした

補足情報（FW/ツールのバージョンなど）

データと同じ記述になっているかや、空白の有無などはデータのカラムをそのままコピーしたので会ってると思います

Comments

[melian]

mean() とカラムの指定が逆の様な気がします。

grp = a.groupby(by='都道府県名')[['人口（総数）','人口（男）','人口（女）']].mean().round(0)
print(grp)

[donzu]

回答していただきありがとうございます。その通りにうって見たところ
表示されたもの
Empty DataFrame
Columns: []
Index: [三重県, 京都府, 人口集中地区, 人口集中地区以外の地区, 佐賀県, 全国, 兵庫県, 北海道, 千葉県, 和歌山県, 埼玉県, 大分県, 大阪府, 奈良県, 宮城県, 宮崎県, 富山県, 山口県, 山形県, 山梨県, 岐阜県, 岡山県, 岩手県, 島根県, 広島県, 徳島県, 愛媛県, 愛知県, 新潟県, 東京都, 栃木県, 沖縄県, 滋賀県, 熊本県, 石川県, 神奈川県, 福井県, 福岡県, 福島県, 秋田県, 群馬県, 茨城県, 長崎県, 長野県, 青森県, 静岡県, 香川県, 高知県, 鳥取県, 鹿児島県]

C:\Users\Owner\AppData\Local\Temp\ipykernel_22036\2790384547.py:1: FutureWarning: The default value of numeric_only in DataFrameGroupBy.mean is deprecated. In a future version, numeric_only will default to False. Either specify numeric_only or select only columns which should be valid for the function.
grp = a.groupby(by='都道府県名')[['人口（総数）','人口（男）','人口（女）']].mean().round(0)
​
となってしまいました。Empty DataFrame というのが問題なのでしょうか？回答宜しくお願い致します。

[melian]

※ 回答へ移動

Answer 1

データフレームのカラム名や都道府県名を見ると(「人口集中地区」が含まれている)、元のデータは 国勢調査 時系列データ CSV形式による主要時系列データ | 政府統計の総合窓口 にある「男女別人口 ─ 全国、都道府県(大正9年〜平成27年)」の CSV ファイル(c01.csv)だと思われます。

import pandas as pd

df = pd.read_csv('c01.csv', encoding='cp932')
cols = ['人口（総数）','人口（男）','人口（女）']

# 「注」カラムを削除
df = df.drop(columns=['注'])
# 末尾のコメント行を削除
df = df[~df.isna().any(axis=1)]
# 欠損値を含む行(1945年沖縄県のデータ)を削除
df = df[~df['人口（総数）'].eq('-')]
# 人口が str 型で読み込まれているので int 型に変換
df.loc[:,cols] = df.loc[:,cols].astype(int)

# 都道府県別の平均人口
mean_by_prefs = df.groupby(by='都道府県名', sort=False)[cols].mean().round().astype(int)
print(mean_by_prefs)

都道府県名	人口（総数）	人口（男）	人口（女）
全国	98797992	48528467	50269524
北海道	4606104	2272235	2333869
青森県	1275593	616330	659262
岩手県	1279266	620464	658801
宮城県	1801085	884667	916418
秋田県	1163376	562366	601010
山形県	1208075	583306	624769
福島県	1904836	926054	978782
茨城県	2249190	1110756	1138434
栃木県	1610963	791048	819915
群馬県	1651464	807646	843817
埼玉県	4040109	2023428	2016681
千葉県	3591668	1789946	1801721
東京都	9357392	4740644	4616748
神奈川県	5072211	2582036	2490175
新潟県	2300824	1115897	1184927
富山県	993675	479456	514218
石川県	995672	479600	516071
福井県	743214	359213	384000
山梨県	775773	378482	397290
長野県	1984244	959836	1024407
岐阜県	1698390	828213	870176
静岡県	2892099	1422673	1469425
愛知県	4938295	2457582	2480712
三重県	1534021	743366	790654
滋賀県	992977	483652	509324
京都府	2135317	1044093	1091224
大阪府	6380772	3167758	3213013
兵庫県	4233525	2067583	2165941
奈良県	993523	479185	514337
和歌山県	978371	471085	507285
鳥取県	566552	271488	295064
島根県	783345	378944	404400
岡山県	1679700	810947	868752
広島県	2347026	1146442	1200583
山口県	1433456	692875	740581
徳島県	793727	382319	411407
香川県	905635	437364	468271
愛媛県	1385960	664193	721767
高知県	785564	376501	409062
福岡県	3927586	1903327	2024258
佐賀県	830574	395550	435023
長崎県	1477374	715120	762253
熊本県	1679703	800656	879047
大分県	1142165	544737	597427
宮崎県	1024879	492893	531986
鹿児島県	1718576	813282	905293
沖縄県	983286	477057	506229
人口集中地区	76263636	37498317	38765319
人口集中地区以外の地区	45110511	21946810	23163701

Comments

[donzu]

返信遅くなってすいません。見本のコードまで作っていただき本当にありがとうございます。解決することができました。
ひとつわからないことがあるのですが
df = df[~df.isna().any(axis=1)]
df = df[~df['人口（総数）'].eq('-')]
このコードの[~df ]はどういう役割か
教えていただけますでしょうか。よろしくお願いします。

[melian]

e-Stat の CSV ファイルには欠損値が含まれています。具体的には以下の行で、「人口（総数）」、「人口（男）」、「人口（女）」の値が "-" になっています。

"47","沖縄県","昭和",20,1945,"1)",-,-,-

この行を取り除くためのものです。

df['人口（総数）'].eq('-')

は、「人口（総数）」列の値が "-" の行にマッチします。これにチルダ("~")を付けると条件が反転して、「人口（総数）」列の値が "-" ではない行という意味になります。結果的に欠損値を含まない行が抽出されることになります。

[donzu]

とても分かりやすい回答をしていただきありがとうございました。おかげで分からなかったところがすっきりしました。改めて丁寧に答えていただき本当にありがとうございました。