Python_数値と文字列が混在するcsvを読み込む方法を教えてください

Question

前提・実現したいこと

csvファイルに、以下のように数値と文字列が混在するリストがあります。

Lat, Lon, Place,
39.12, 135.33, AAA,
35.54, 139.22, BBB,
(以下、同じように「緯度（数値）」「経度（数値）」「場所の名前（文字列）」が続いています）

該当のソースコード

Python3

import numpy as np
states = np.loadtxt('posi.csv', skiprows = 0, delimiter=',', dtype='float')

発生している問題・エラーメッセージ

上記のようなcsvデータを以下のコードで読み込もうとしても、
Placeに該当する部分が文字列の為、
「ValueError: could not convert string to float: 'AAA'」
というエラーが出てしまいます。

一度文字列として読み込んだ後に、数字の部分だけを数値として認識できるように変換させるのが
いいのかと思いましたが、適当な変換するコードが見つかりません。

最終的には、マップ上にリストの各緯度経度のマーカーをプロットし、
マーカーにカーソルオンすると場所の名前がポップアップするプログラムを書きたいのですが、
csvの読み込みの部分で困っております。

よろしくお願いします。

Comments

[tachikoma]

サンプルのcsv、経度のドットがカンマになってしまっていますね。

Answer 1

numpy.loadtxtでも可能ですがnumpyは文字列は苦手なので、pandas.read_csvのほうが簡便だと思います。

from io import StringIO
s = """Lat, Lon, Place,
39.12, 135.33, AAA,
35.54, 139.22, BBB,
"""

import numpy as np
# Placeは空白含み最大10文字が前提
ret = np.loadtxt( StringIO(s),delimiter=",", skiprows=1, dtype='float,float,S10')
print(ret)
# [( 39.12,  135.33, b' AAA') ( 35.54,  139.22, b' BBB')]

import pandas as pd
# 空白は無視、０～２列目のみ
ret = pd.read_csv( StringIO(s), skipinitialspace=True, usecols=[0,1,2])
print(ret)
"""
     Lat     Lon Place
0  39.12  135.33   AAA
1  35.54  139.22   BBB
"""

Answer 2

ひとまずの解決策ですが、pandasのread.csvを使うと簡単にできますよ。
（簡単のため行末のカンマを取り除いた状態で扱っています。）

import pandas as pd
states = pd.read_csv('posi.csv', index_col=False,
                     delimiter=r",\s*", engine="python")

states
#      Lat     Lon Place
# 0  39.12  135.33   AAA
# 1  35.54  139.22   BBB

states.iloc[0]
# Lat       39.12
# Lon      135.33
# Place       AAA
# Name: 0, dtype: object

states.iloc[0]["Lat"]
# 39.12

データフレームがいやな場合、次のように数値の部分だけnumpy.arrayとリストにバラせます。

location = states[["Lat", "Lon"]].values
place = states["Place"].tolist()

Comments

[KotaUeki]

ありがとうございます。
頂いた回答をもとに、地図上にリストの各緯度経度に従ってマーカーをプロットする
プログラムができました。

Answer 3

pandasで書いてみました。

import pandas as pd

def lon_to_float(string):
    lst = string.split(",")
    return float(".".join(lst))

def main():
    # 区切りのフォーマットが汚いので正規表現を使ってごちゃごちゃやってる
    # カンマの後のスペースが入ってたのでそれを利用したが、入っていない場合はもっと工夫が必要
    # engine="python"を指定しないとwarningが出る
    # dypteを指定してその型で読ませる
    # Lonは面倒くさいことにカンマが混ざるので、とりあえずstrで読む
    df = pd.read_csv("data.csv", sep=",\s+|,$", engine="python", 
                     dtype={"at":float, "Lon":str, "Place":str})

    # Lonをfloatに変換
    df["Lon"] = df["Lon"].apply(lon_to_float)

    # 行末にカンマが付いてるせいで無駄な列ができるので除去
    df = df.loc[:, ~df.columns.str.contains('^Unnamed')]
    print(df)

if __name__ == "__main__":
    main()

"""出力
      at     Lon Place
0  39.12  135.33   AAA
1  35.54  139.22   BBB
"""

もし綺麗なCSVを得る手段があるのでしたら、そうすることで多少労力が減らせます。

• カンマの間にスペースを入れない
• Lonを普通の小数表記で得る
• 行末のカンマをなくす

などが改善点です（他にもあるかも）。

Comments

[KotaUeki]

dtype=・・・の構文、参考になります。ありがとうございました。

Answer 4

pythonには、まさにCSVハンドリング用のユニット、csv があるようです

https://docs.python.jp/3/library/csv.html

「python csv」でぐぐるといろいろでてきますねー