Pandasでの為替取引のデータ(csvファイル)を読込みについて

Question

###前提・実現したいこと
Pandasに為替取引のデータ(csvファイル)を読込み、あるデータ列について集計処理をしようとしています。
ただ一部の列の数値データの前に""が付いている関係で"\10"と読み込んでおり、集計が出来ません。これを数値として読込む方法はあるでしょうか。

###発生している問題・エラーメッセージ

通貨ペア	区分	売買	数量（Lot）	約定価格	注文日時	約定日時	取引番号	建玉損益	スワップポイント	決済損益	取引手数料
0	USD/JPY	決済	買	2	102.963	2016/11/04 06:26:46	2016/11/04 06:26:46	114000020484023	\10	-1.0	\9	\0
1	USD/JPY	決済	買	2	102.963	2016/11/04 06:26:46	2016/11/04 06:26:46	114000020484031	\10	-1.0	\9	\0
2	USD/JPY	決済	買	2	102.963	2016/11/04 06:26:46	2016/11/04 06:26:46	114000020484030	\10	-1.0	\9	\0
3	USD/JPY	決済	買	2	102.963	2016/11/04 06:26:46	2016/11/04 06:26:46	114000020484029	\10	-1.0	\9	\0
4	USD/JPY	決済	買	2	102.963	2016/11/04 06:26:46	2016/11/04 06:26:46	114000020484028	\10	-1.0	\9	\0

###該当のソースコード

import pandas as pd
traderecord = pd.read_csv("TradeRecordList.csv")
traderecord.head(5)

###試したこと
###補足情報(言語/FW/ツール等のバージョンなど)
読込んだファイルの画面を掲載します。
具体的には”建玉損益”"決済損益"の列になります。

Comments

[MasahikoHirata]

画面の中身が添付されてないですよ。

[kohu]

投稿が上手くいかずで申し訳ございませんでした。編集して再投稿で内容アップできたかと思います。

Answer 1

エラーメッセージが見えないのですが、

pandas の read_csv であれば特定のカラムに変換関数を仕掛ける事が可能です。
実際のデータは解りませんが、1行目にヘッダがあると仮定して

import pandas

def stripYen(s):
    return s.replace('\\', '')

converters = {
  "建玉損益": stripYen,
  "決済損益": stripYen,
}

df = pandas.read_csv("sample.csv", converters=converters)

他にも多数のオプションが指定可能です。ヘッダがない場合や文字コード関連のエラーになった場合等、
まずは read_csv のオプションを調べてみてください
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html

Comments

[kohu]

早速ありがとうございます。
ご教示頂いた方法、一度トライしてみます。

[kohu]

データの中に','もありましたので、ご教示頂いたスクリプトを一部、下記のように変えたらうまくいきました。ありがとうございました。
def stripYen(s):
t = s.replace('\\', '')
u = t.replace(',', '')
return float(u)

Answer 2

実現法を色々考えたみた。
csvを読み込んだ後にpandasで処理するより、先にpythonでcsvを読み込んで、""と質問にはないけど","をセルデータから除去して、書き出す（中間ファイル）。
それをpandasで読み込んで処理がバグの発生が少ないと判断。
区切り文字が明示されていないので、' '（空白）とここでは定義。（カンマの場合は','）ね。

import csv
 
# ファイルを読み込みモードでオープン
with open('sample.csv', 'r') as f:
 
  reader = csv.reader(f) # readerオブジェクトを作成
  header = next(reader)  # 最初の一行をヘッダーとして取得
 
  print ''.join(header)  # ヘッダーをスペース区切りで表示
  
  # 行ごとのリストを処理する
  for row in reader:
    print ''.join(row)   # １行ずつスペース区切りで表示

そして読み込んだ文字列から対象となる''を除いて出力。

writer = csv.writer(ファイルオブジェクト)

複数の列と判断して、

writer.writerows(書き込む配列の配列)

で中間ファイルを作成。
それをpandasで読み込んで終わり。

Comments

[kohu]

早速ありがとうございます。
ご教示頂いた方法、一度トライしてみます。