python によるcsvデータの処理

Question

前提・実現したいこと

以下のようなcsvファイルを読み取ってデータをまとめる作業を行おうと考えています。

ダウンロードした時刻：2019/11/11 16:04:33					
					
				寺泊	寺泊
年	月	日	時	風速(m/s)	風向
					
2016	12	23	5	9.6	南南東
2016	12	23	6	9.8	南東
2016	12	23	7	10.6　東
2016	12	23	8	10.4　北東
2016	12	23	9	10.5　西
2016	12	23	10	9.1	西
2016	12	23	11	8.1	西北西
2016	12	23	12	7.8	西北西
2016	12	23	13	6.8	西北西
2016	12	23	14	6.3	北西
2016	12	23	15	6.2	北西
2016	12	23	16	6.5	北北西
2016	12	23	17	6.3	北北西
2016	12	23	18	6.3	北
2016	12	23	19	5.4	南西
2016	12	23	20	3.9	西南西
2016	12	23	21	4	南南西
2016	12	23	22	4.6	南
2016	12	23	23	4	南

処理の方法は
➀風速の値を2乗する。

➁次に角度補正を行いたいため、風向によってcosθを風速の2乗の値にかける
ex)上記のデータの場合
・風向は16方位に区切られているので、隣り合う方位の角度の間隔は22.5°
西を正面とし
西北西と西南西は22.5°、北西と南西は45°、北北西と南南西は67.5°

・この西を基準とした角度を基に、風速の2乗値にそれぞれcosθをかける
(10.5)^2×cos(0)+(9.1)^2×cos(0)+
(8.1)^2×cos(22.5)+(7.8)^2×cos(22.5)+(6.8)^2×cos(22.5)+
(6.3)^2×cos(45)+(6.2)^2×cos(45)+
(6.5)^2×cos(67.5)+(6.3)^2×cos(67.5)+
(5.4)^2×cos(45)+
(3.9)^2×cos(22.5)+
(4)^2×cos(67.5)

➂　➁の値で、特定の風向（今回の場合'南南西','南西','西南西','西','西北西','北西','北北西'）を満たすもの全部足し合わせる。

このような処理を行いたいと考えています。

発生している問題・エラーメッセージ

現在特定の風向を満たす、風速の値を2乗して、それを足し合わせる
というところまでは動きましたが
➁のような、ある風向にはcos(22.5)をかけ、ある風向にはcos(45)をかけるといった処理ができずに悩んでおります。

該当のソースコード

今現在のプログラムを以下に示します。
長い文章になって申し訳ございません。
そこで今現在このような流れで動かしていこうかなと思っています。
以下に記します。

    import csv
    import math

    cos0 = math.cos(math.radians(0))
    cos225 = math.cos(math.radians(22.5))
    cos45 = math.cos(math.radians(45))
    cos675 = math.cos(math.radians(67.5))

    f = open("test.csv", "r")
    reader = csv.reader(f)
    next(reader); next(reader); next(reader); next(reader); next(reader)

    Direction = ['南南西','南西','西南西','西','西北西','北西','北北西']

    sum = 0
    for row in reader:
      if not row[4].strip(): # 空行スキップ
        continue
      colE = float(row[4])
#この先からつまずいています。

この後に
➀　colEを全て二乗

➁　Directionの７方位で
方位が西のcolE(2乗したもの）にcos0を掛ける
方位が西南西・西北西のcolE(2乗したもの）にcos225を掛ける
方位が南西・北西のcolE(2乗したもの）にcos45を掛ける
方位が南南西・北北西のcolE(2乗したもの）にcos675を掛ける

➂2乗値を補正した値を足し合わせる

といった流れでできないかと考えています。

python

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[mistn]

コード部分は```で囲ってください。
https://teratail.com/help/question-tips#questionTips3-5

[teshiteshi]

見づらくてすいませんでした。
よろしくお願いいたします。

Answer 1

➁のような、ある風向にはcos(22.5)をかけ、ある風向にはcos(45)をかけるといった処理ができずに悩んでおります。

pandasを使うと行を一括で処理できて楽です。

また、このデータでは西を基準にしましたが、ほかのデータでは東や南東や北北東など基準はそれぞれ違うので、処理するデータに合わせて、プログラムを少し書き換えて動かせるようなものをつくりたいと考えています。

最初に東を基準とした風向と角度のマップを求めておきます。
次に目的の方向から角度を補正し、補正した角度から風向を抽出すればよいです。

import pandas as pd
from io import StringIO
import numpy as np
pd.set_option('display.unicode.east_asian_width', True)

# テストデータ
s = """風速,風向
9.6,南南東
9.8,南東
10.6,東
10.4,北東
10.5,西
9.1,西
8.1,西北西
7.8,西北西
6.8,西北西
6.3,北西
6.2,北西
6.5,北北西
6.3,北北西
6.3,北
5.4,南西
3.9,西南西
4.0,南南西
4.6,南
4.0,南"""
df = pd.read_csv(StringIO(s))

# 東針を基準とした反時計回りになす角度[rad] を求めておく
angle_org = { d : i*22.5*np.pi/180 for i,d in enumerate(['東','東北東','北東','北北東','北','北北西','北西','西北西','西','西南西','南西','南南西','南','南南東','南東','東南東'])}

# 東→西を基準となるように角度を補正
angle_target = { k : v - angle_org['西'] for k,v in angle_org.items()}

# 西を基準として風向を抽出＝cos(角度)が０より大きい
Direction = {k for k,v in angle_target.items() if np.cos(v) > 1e-3} # +-ぴったり90度（北と南）を除く範囲
print(Direction)
# {'北西', '南南西', '西北西', '西南西', '南西', '西', '北北西'}

# 風向で行を抽出
df = df[df['風向'].isin(Direction)]

# 各行の風向から角度を求める
df['角度'] = [angle_target[dir] for dir in df['風向']]
df['角度_deg'] = df['角度']*180/np.pi # 確認表示用
print(df)
"""
    風速    風向      角度  角度_deg
4   10.5      西  0.000000       0.0
5    9.1      西  0.000000       0.0
6    8.1  西北西 -0.392699     -22.5
7    7.8  西北西 -0.392699     -22.5
8    6.8  西北西 -0.392699     -22.5
9    6.3    北西 -0.785398     -45.0
10   6.2    北西 -0.785398     -45.0
11   6.5  北北西 -1.178097     -67.5
12   6.3  北北西 -1.178097     -67.5
14   5.4    南西  0.785398      45.0
15   3.9  西南西  0.392699      22.5
16   4.0  南南西  1.178097      67.5
"""

# 16方位で南南西・南西・西南西・西・西北西・北西・北北西を満たす風速の値を2乗
print( (df['風速'] ** 2).sum())
# 586.1899999999999

# 西を基準とした角度を基に、風速の2乗値にそれぞれcosθをかける
print( (df['風速'] ** 2 * np.cos(df['角度'])).sum())
# 480.0024660782123

Comments

[teshiteshi]

回答ありがとうございます！
初心者でしてうまく理解できず、自分で走らせるとエラーがでてしまいました。
実際に手作業で計算してみると、プログラム通りの結果になっていました。

最初の質問内容で
【また、このデータでは西を基準にしましたが、ほかのデータでは東や南東や北北東など基準はそれぞれ違うので、処理するデータに合わせて、プログラムを少し書き換えて動かせるようなものをつくりたいと考えています。 】
といきなり、全部に対応できるようなものが作れればと思っていましたが
全てに対応できずとも、まずは西を基準とすることだけ考えて、このデータのみに対応できるようなものを作ってみようと思います。

今質問内容を修正したのですが、またお力をお貸しいただけると幸いです。

[can110]

回答コードをそのままコピペしたものでエラーが発生するのでしょうか？
ちなみに回答コードは全方向に対応しています。
「～angle_org['西']～」の部分を「～angle_org['北東']～」のように修正するだけでよいです。

[teshiteshi]

そのままコピペしたら動いています！
ですが自分でコードを見ても使い方がわかりませんでした。

いくつかお聞きしたいことがあるのですがよろしいでしょうか。
➀このコードは「ｓ（テストデータ）」というものに対応していると思っているのですが、私のcsvファイルをこのコードでうごかしたい場合
df = pd.read_csv(StringIO(s))
の(s)を"test.csv"と書き直せばよいのですか？

➁この部分で「～angle_org['北東']～」とした場合
北東はcos0
北北東・東北東はcos22.5
北と東はcos45
北北西と東南東はcos67.5
その他の方位は合計に入らないとなっているのでしょうか？

教えていただいたコードから読み取れなくてすいません。

[teshiteshi]

再度同じような質問をして、配慮が足りなかったです、申し訳ありませんでした。
どうか、この教えていただいたコードについては理解して動かしたいのです。
迷惑かもしれませんがお願いいたします。

[can110]

おそらく「～.read_csv(ファイル名, sep='\s+', skiprows=3)」
のように区切り文字と読み飛ばす先頭行数を指定すればいけるかと思います。
うまくいかない場合は公式マニュアルなどを参考に試行錯誤してみてください。
> ➁この部分で～合計に入らないとなっているのでしょうか？
要は基準となる方位から左右90度未満の方角のみを抽出し、基準方位からみた角度を元にcosを出すようなコードになっています。
回答コードでは、抽出された方角、基準からの角度をprintするようにしているので
実際に動かしてみて、意図通りになっているか確認してみてください。

[teshiteshi]

～.read_csv(ファイル名, sep='\s+', skiprows=3）
ここを動かしたいファイルに合わせることで思うように動かせました！！
何度も何度も本当にありがとうございます。

失礼をおかけして申し訳ありませんでした。