Python(またはR)による、Excelファイルのデータ抽出と統計解析について

Question

Excelファイルのデータ抽出について質問させてください。

収入	出身地	年齢
250,000	葛飾区	28
500,000	新宿区	45
850,000	秋田市;神戸市;宮崎市	63;32;35
300,000	横浜市	38
700,000	新宿区;新潟市	40;32

例えば、上記のような世帯月収、世帯構成員の出身地、世帯構成員の年齢が記載された数万世帯分のデータがあるとします。

Python(またはR)をもちいて、ここから

新宿区出身者を含む世帯の平均月収
秋田市出身者を含む世帯の平均月収
神戸市出身者を含む世帯の平均月収
etc

をファイルに記載された全ての出身地で求めるには、どのようにすればいいでしょうか。

全て一人世帯で、出身地を手入力できるようであればわかるのですが、ひと世帯に複数の出身地が記載され、どのくらいの出身地があるかも把握できないとなると、どのようにデータ抽出をすればいいのかわかりません。

解析を行うためのデータ抽出のプログラムについて、ご教授いただければ幸いです。

Comments

[meg_]

質問者さんはどこまでコーディング出来ますか？ファイルの読み込みとか条件完全一致の抽出ならできますか？

[8524ba23]

複数の人が同じ出身の場合、出身地はどうなっていますか？
２人が秋田市、一人が神戸市の場合、「秋田市;神戸市」なのか「秋田市;秋田市;神戸市」なのか。

[phys]

paythonは、数値計算や機械学習の入門書を読んで勉強した程度で、ファイルの読み込みはできますが、条件一致の抽出はやったことがありません。

2人が秋田、1人が神戸だった場合は、その世帯の月収(例えば700,000)を「[秋田市]+=700,000」、「[神戸市]+=700,000」と、それぞれの配列に同額を加えるようにしようと思っています。

[meg_]

Rはどこまで出来ますか？ ※今の質問の状態では丸投げと感じます

[8524ba23]

入力元であるExcelファイルの出身地の列がどうなっているか？という質問です。

Answer 1

プログラムを勉強したいというのでなければ、1個のプログラムでやるよりは、STEPを分けて以下のようにやるのが良いでしょう。自分でできない部分は、お金を払って誰かに頼むことも可能です。

• STEP1 ファイル形式変換

Excelでxlsx形式ファイルを読み込んで、csv形式ファイルで出力する。

• STEP2 ファイル形式変換

csv形式ファイルを入力として、KojiDoiさんの書いている列分解処理を行い、csv形式ファイルで出力する。
処理は適当なスクリプト言語で行う。awkとかsedでもできるしPythonでも可能。

• STEP3 集計処理

csv形式ファイルを入力として、集計処理を行い、csv形式ファイルで出力する。
RやPython+pandasが適している。

プログラムを勉強したいのであれば、まずプログラミングの基礎をやることをお勧めします。

Answer 2

まずは、このデータを、

850,000	秋田市;神戸市;宮崎市	63;32;35

次のように変換するスクリプトを書きましょう。

850000	秋田市	63
850000	神戸市	32
850000	宮崎市	35

pythonでもRでもどちらでも構いませんが、あなたの両言語のスキルに大差がないのであれば、まあpythonの方がやりやすいでしょう。

Comments

[phys]

一つの列に一つの字列しかないデータから、特定の文字列を含む行を抽出するやり方は調べて分かったのですが、一つの列内のセミコロンで区切られた文字列を抽出し、同じ行列の値と関連づける方法がわからなかったため、質問させていただきました。

[KojiDoi]

やるべきことは抽出ではなく「分割」です。
pythonならsplitメソッド、Rならstrsplit関数を使えばいいです。あとは自分で調べてコードを組んでみましょう。