pythonでcsvの特定の列を計算したい

Question

前提・実現したいこと

お世話になります。投資の成績を管理したいと思い、
業者HPからダウンロードしたcsv形式の成績データを
下記のように加工したいと考えています。

①A、C、F列を削除
②「ペイアウト」の「---」を「0」へ置換
③列を入れ替え
④「pips差」=「判定レート」-「取引内容」及び「損益」=「ペイアウト」-「購入」の列を追加
⑤④の「損益」の合計をシートに追加
⑥Excelシートとして保存

加工前

加工後

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "C:\Users\User\Documents\Python Programs\highlow.py", line 17, in <module>
    chg_df.diff(axis=1)
  File "C:\Users\User\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\frame.py", line 6594, in diff
    new_data = self._data.diff(n=periods, axis=bm_axis)
  File "C:\Users\User\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\internals\managers.py", line 566, in diff
    return self.apply("diff", **kwargs)
  File "C:\Users\User\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\internals\managers.py", line 438, in apply
    applied = getattr(b, f)(**kwargs)
  File "C:\Users\User\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\internals\blocks.py", line 1330, in diff
    new_values = algos.diff(self.values, n, axis=axis)
  File "C:\Users\User\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\algorithms.py", line 1977, in diff
    out_arr[res_indexer] = arr[res_indexer] - arr[lag_indexer]
TypeError: unsupported operand type(s) for -: 'str' and 'str'



特定の列だけ計算する方法がわかりません。

該当のソースコード

#! python3
#! utf-8

import pandas as pd
import numpy as np

#ファイル読み込み
df = pd.read_csv('highlow.csv',engine='python')

#置換
rep_df = df.replace('---', '0')

#不要列の削除
del_df = rep_df.drop(df.columns[[0,2,5]], axis=1)

#列の入れ替え
chg_df = del_df.iloc[:,[6,7,0,1,2,5,3,4]]

試したこと

chg_df.diff(axis=1)
print(chg_df)
試しに列で減算しようと思いましたが、エラーで行き詰まりました。
ぜひアドバイスお願いいたします。

補足情報（FW/ツールのバージョンなど）

OS:windows10 Pro
python3.7.3

Answer 1

ペイアウト列と購入列はそれぞれ、"¥1,800"のような文字列（str）になっているため計算できなくてエラーが出ています。数値（int）に置き換えないといけませんが、その前に下記のようなカンマや通貨記号を除く手間が入って面倒です。

payout = "¥1,800"
payout = payout.replace(",","").replace("¥","")
payout = int(payout)
print(payout)
# 1800

もっとスマートなやり方をご存じの方もいそうですが、私的にはxlwingsとかExcelを直接操作できるもので処理したほうが早そうと感じました。

Comments

[enemy_x]

jeanbiegoさん
ご回答いただきありがとうございます。
そうなんです、csvデータをダウンロードした際、ご丁寧に￥が付いていて面倒なんですよね。
Excelで処理しようとする場合、
csvをインポート→Excelへ変換して一旦保存→データ処理→Excelとして保存という
流れになるのでしょうか？

[jeanbiego]

・xlwingsで処理する場合は、csvをデータフレームに取り込んで、xlwingsでexcel立ち上げ→シートにデータフレーム書き込み→書式変更～という流れになると思います。
・過去の質問で似たようなものがありました。参考まで
https://teratail.com/questions/54056

Answer 2

答えになっているかわかりませんが、

• '---'のreplaceはエスケープがいるのかもしれません。
• replaceの第二引数は文字列でなく数値で指定しないと計算時にエラーになると思います。
• ilocではうまくれうの入れ替えができなかったのでixにしてみました。

import pandas as pd
import io

data = """
x1,x2,x3,x4,x5,x6,x7,x8
0, 0, 0, 1, ---, 1, 1, 0
4, 5, 2, 8, ---, 5, 4, 8
"""

df = pd.read_csv(io.StringIO(data))

print(df)
#置換
rep_df = df.replace('\-\-\-', 0, regex=True)
print(rep_df)

#不要列の削除
del_df = rep_df.drop(df.columns[[0,2,5]], axis=1)
print(del_df)

#列の入れ替え
chg_df = del_df.ix[:,[4,3,2,1,0]]
print(chg_df)

   x1  x2  x3  x4    x5  x6  x7  x8
0   0   0   0   1   ---   1   1   0
1   4   5   2   8   ---   5   4   8
   x1  x2  x3  x4  x5  x6  x7  x8
0   0   0   0   1   0   1   1   0
1   4   5   2   8   0   5   4   8
   x2  x4  x5  x7  x8
0   0   1   0   1   0
1   5   8   0   4   8
   x8  x7  x5  x4  x2
0   0   1   0   1   0
1   8   4   0   8   5

Comments

[enemy_x]

nandymakさん
ご回答いただきありがとうございます。
置換のところ勉強になります、参考にさせていただきます。