質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

936閲覧

Excelから得られた2変数のデータ群に対しSpearsonの順位相関係数とp値を算出したい

masabassii94

総合スコア13

Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

1グッド

0クリップ

投稿2020/07/12 06:04

前提・実現したいこと

Python、統計学初心者の者です。
仕事の関係で、下記のことをPythonで実現したいと考えております。

① 日別の2変数のデータを表計算ソフト(csvデータ)から取得する
② Spearsonの順位相関係数とp値を算出する

発生している問題・エラーメッセージ

まず、お弁当の需要予測(https://signate.jp/competitions/24)のデータを用いて、
上記の手法をトライしました。
気温(temperature)と売り上げ(y)で、Spearsonの順位相関係数とp値を算出しました。
Python初心者で思い通りのコードを書くことはできないので、
インターネットからコードのコピペを組み合わせて試行錯誤しました。
(https://qiita.com/dacciinfo/items/88debe69f9f4e927aafc)

無事に結果は出ましたが、これであっているか自信がありません。
コードに誤りがあればご教授いただければ幸甚です。

該当のソースコード

Python

1# 1. 必要なライブラリの読み込み 2import pandas as pd 3import statsmodels.formula.api as smf 4import statsmodels.api as sm 5from scipy.stats import spearmanr 6 7# 2. 使用するデータの読み込み 8df = pd.read_csv("Desktop/Pyhton memo/trainmoji.csv", encoding="shift-jis") 9 10 11# 3. 相関係数として使用するパラメータをxとyに代入(質的変数でも代入できるようにget_dummiesを使用) 12y = df['y'] 13x = pd.get_dummies(df[['temperature']]) 14 15 16# 4. Spearsonの順位相関係数とp値を算出する 17correlation, pvalue = spearmanr(x,y) 18print("相関係数", correlation) 19print("p値",pvalue)

補足情報(FW/ツールのバージョンなど)

解析結果のスクリーンショットを添付しておりますイメージ説明

Shgm👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

今回は結果は間違ってないと思いますが推奨される書き方ではありません。

Python

1# 3. 相関係数として使用するパラメータをxとyに代入(質的変数でも代入できるようにget_dummiesを使用) 2y = df['y'] 3x = pd.get_dummies(df[['temperature']])

ただここの意味がわかりません。
連続値の'temperature'を指定しつつ「質的変数でも代入できるようにget_dummiesを使用」がわかりません。
無意味で余計な関数を挟むとバグの温床になるので避けたほうがいい書き方だと思います。

ここに temperature ではなく質的変数が入ってきてカテゴリが複数あるとダミー変数化して

Python

1correlation, pvalue = spearmanr(x,y) 2

でエラーになります。

つまり、
連続変数が入ってくると無駄にget_dummiesされる
質的変数が入ってくるとspearmanrの計算が(たまたまカテゴリが1つのみ以外)出来ない
よって、このコードは推奨されません。

投稿2020/07/12 06:39

aokikenichi

総合スコア2218

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

masabassii94

2020/07/12 22:59

ありがとうございます。 不必要にget_dummiesは使わないようにします。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問