Pythonでエスケープ文字？を文字列化したい

Question

お世話になります。
いまGoogleのコラボラトリーを使い、PythonでCSVで記録されている株価データを整形したいと思っています。

この整形で、CSVのカラムの部分に「""」で囲まれた形の「"日付"」や「"始値"」をつけたいと思っているのですが、
以下の
「 column=["日付","始値","高値","安値","終値","前日比","出来高","売残","買残"]　」
だと、ただの「日付」や「始値」で整形されてしまいます。
また、RAW文字列などで「"」を文字列として扱うなどを見ているのですが、なぜか「"""日付"""」のように
いくつも”がついてしまい、うまくいきません。
うまく「"日付"」などとCSVに保存される書き方を教えていただけるとありがたいです。
また、なぜ「"""日付”””」などとなってしまうのか、もし分かれば教えて頂きたいです。
よろしくお願いいたします。

import os
import glob
import pandas as pd

files = glob.glob("/content/drive/MyDrive/dd/*")#フォルダからcsvファイルのパス付き名をすべて抜き出す。

for file in files:#すべてのファイルに以下を繰り返し実行
 df=pd.read_csv(file)
 df.insert(5, "","")#4列目に空の列を挿入

 column=["日付","始値","高値","安値","終値","前日比","出来高","売残","買残"]
 df.columns=column
 fname=os.path.basename(file)#パスを除いた拡張子付きのファイル名のみを抽出
 df.to_csv("/content/drive/MyDrive/処理済み株価/"+fname,index=False, encoding='utf_8_sig')

Answer 1

何を求めているかによりますが、以下の方法での結果が求めるものに近いかもしれません。

import csv

for file in files:#すべてのファイルに以下を繰り返し実行
 df=pd.read_csv(file)
 df.insert(5, "","")#4列目に空の列を挿入

 column=["日付","始値","高値","安値","終値","前日比","出来高","売残","買残"]
 df.columns=column
 fname=os.path.basename(file)#パスを除いた拡張子付きのファイル名のみを抽出
 with open("/content/drive/MyDrive/処理済み株価/"+fname, "w", encoding='utf_8_sig') as f:
     writer = csv.writer(f, quoting=csv.QUOTE_NONNUMERIC)
     writer.writerows(df.T.reset_index().T.values.tolist())

カラムだけに""を付けることはできるでしょうか？

たぶん、以下で出来ます。

import csv

for file in files:#すべてのファイルに以下を繰り返し実行
 df=pd.read_csv(file)
 df.insert(5, "","")#4列目に空の列を挿入

 column=["日付","始値","高値","安値","終値","前日比","出来高","売残","買残"]
 df.columns=column
 fname=os.path.basename(file)#パスを除いた拡張子付きのファイル名のみを抽出
 with open("/content/drive/MyDrive/処理済み株価/"+fname, "w", encoding='utf_8_sig') as f:
     writer_q = csv.writer(f, quoting=csv.QUOTE_NONNUMERIC)
     writer_q.writerow(column)
     writer = csv.writer(f)
     writer.writerows(df.values.tolist())

ダメな場合は、以下を試してみてください。

import csv

for file in files:#すべてのファイルに以下を繰り返し実行
 df=pd.read_csv(file)
 df.insert(5, "","")#4列目に空の列を挿入

 column=["日付","始値","高値","安値","終値","前日比","出来高","売残","買残"]
 df.columns=column
 fname=os.path.basename(file)#パスを除いた拡張子付きのファイル名のみを抽出
 with open("/content/drive/MyDrive/処理済み株価/"+fname, "w", encoding='utf_8_sig') as f:
     writer_q = csv.writer(f, quoting=csv.QUOTE_NONNUMERIC)
     writer_q.writerow(column)
 with open("/content/drive/MyDrive/処理済み株価/"+fname, "a", encoding='utf_8_sig') as f:
     writer = csv.writer(f)
     writer.writerows(df.values.tolist())

Comments

[naonobu]

ありがとうございます＾＾
ご提案頂いたプログラムを適用してみたところ、カラム以外の部分で""囲いになっていました。

"日付","始値","高値","安値","終値","前日比","出来高","売残","買残"
"2001/02/26",2990.0,3090.0,2800.0,3090.0,"",573,nan,nan
"2001/02/27",3140.0,3160.0,2770.0,2870.0,"",168,nan,nan
"2001/02/28",2710.0,2920.0,2710.0,2800.0,"",74,nan,nan

目的としては、銘柄は異なりますが、以下のようなCSVを

2009/05/15 869 882 869 882 8840
2009/05/18 872 872 857 860 3830
2009/05/19 885 885 876 876 1140
2009/05/20 889 890 881 886 1390
2009/05/21 882 882 873 878 1550
　　　　　　　　　↓
　　　　　　　　　↓
"日付","始値","高値","安値","終値","前日比","出来高","売残","買残"
2002/03/29,830,841,813,815,,202100,,
2002/04/01,822,822,793,793,,13400,,
2002/04/02,813,817,813,815,,19600,,
2002/04/03,811,836,811,832,,14800,,
2002/04/04,836,836,830,831,,14400,,
2002/04/05,830,830,825,825,,10200,,

このようにしたいのです。
カラムだけに""を付けることはできるでしょうか？

[ppaul]

回答に追加しましたので、それをお読みください。

Answer 2

pandas.DataFrame.to_csv -- quoting
csv.QUOTE_NONNUMERIC

が参考になると思います。

import pandas as pd
data = {'Name': ['Tom', 'Jack', 'Steve', 'Ricky'], 'Age': [28, 34, 29, 42]}
df = pd.DataFrame(data)

import csv
df.to_csv('name.csv',quotechar='\"',quoting=csv.QUOTE_NONNUMERIC)

"""
!cat name.csv

"","Name","Age"
0,"Tom",28
1,"Jack",34
2,"Steve",29
3,"Ricky",42

"""

また"""日付"""になる件について、"(外側の囲いとしてのダブルクオート)""(エスケープ処理されたダブルクオート文字)になっているからだと思います。

参考：　csv.Dialect.doublequote

Comments

[naonobu]

ありがとうございます＾＾
"""日付"""になる理由がなんとなくわかりました(^^)
でも、まだちゃんとは理解できていません。少し時間かかりますが、時間をかけて噛み砕いていきたいとおもいます＾＾

Answer 3

ダブルクォート"を含む文字列はシングルクォート'で囲めば良いです。

column=['"日付"','"始値"','"高値"','"安値"','"終値"','"前日比"','"出来高"','"売残"','"買残"']

CSVファイルで"""日付"""となっているなら、それで合っています。
両端の"で文字列がクォートされていて、その中に文字として"が含まれる場合は""と表されるからです。

---

#追記

コメントを受けての、おそらくこういうことであろうというコードを示します。
動作は確認していません。

  // 出力ファイルのパス名
  fout = "/content/drive/MyDrive/処理済み株価/"+os.path.basename(file)

  // 出力ファイルにヘッダ行を出力
  column = ["日付","始値","高値","安値","終値","前日比","出来高","売残","買残"]
  df = pd.DataFrame(index=[], columns=column)
  df.to_csv(fout, header=True, index=False, encoding='utf_8_sig', quoting=csv.QUOTE_ALL)

  // データを読み込んで出力ファイルに追加
  df = pd.read_csv(file)
  df.insert(5, "","")#4列目に空の列を挿入
  df.to_csv(fout, mode='a', header=False, index=False, encoding='utf_8_sig', 
  quoting=csv.QUOTE_NONE)

Comments

[naonobu]

ありがとうございます＾＾
提案頂いた部分を貼り付けて実行したところ、たしかにエクセルで見た場合、"日付"や"始値"のように記録されていました。ただ、これをテキストファイルで開いた場合は

"""日付""","""始値""","""高値""","""安値""","""終値""","""前日比""","""出来高""","""売残""","""買残"""
2001/03/01,2374.5,2499.5,2093.3,2287.0,,1074,,
2001/03/02,2255.8,2405.7,2237.0,2287.0,,190,,1.0
2001/03/05,2255.7,2255.7,1974.5,2062.0,,108,,1.0

のように"""で囲まれた状態になっていました。
テキストとしてメモ帳などで開いた場合でも"日付"としたいのですが、何か方法がありますでしょうか？

[itagagaki]

それは説明したとおりCSVとして正しい形式のデータになっているわけですが…
「テキストファイルで開いた場合」とはどういう場合のことですか？
テキストエディタで開いた場合？
目的を詳しく教えてください。

[naonobu]

説明がいろいろ不足してしまい、ごめんなさい。
今回のデータ整形は、株式投資の分析ソフトに入れ込むための作業なのですが、「ヘッダーが間違っています」というエラーメッセージが出ます。そのヘッダー部分が上記の「"日付" "始値"・・・」なのですが、そのソフトから吐き出した株価データをwindowsでいうメモ帳ソフトで開くと「"日付"・・・」という形式で保存されていて、エクセルで開くと、ただの「日付」となっています。

[itagagaki]

やりたいことがわかりました。

// 出力ファイルのパス名
fout = "/content/drive/MyDrive/処理済み株価/"+os.path.basename(file)

// 出力ファイルにヘッダ行を出力
column = ["日付","始値","高値","安値","終値","前日比","出来高","売残","買残"]
df = pd.DataFrame(index=[], columns=column)
df.to_csv(fout, header=True, index=False, encoding='utf_8_sig', quoting=csv.QUOTE_ALL)

// データを読み込んで出力ファイルに追加
df = pd.read_csv(file)
df.insert(5, "","")#4列目に空の列を挿入
df.to_csv(fout, mode='a', header=False, index=False, encoding='utf_8_sig', quoting=csv.QUOTE_NONE)

これでどうでしょう。

回答にも追記しておきました。