引数に指定したfloat型のDataFrameをstr型に変換したい

Question

pythonで半角カナを全角カナに変換したいのですが、
DataFrameの型がfloatになっているとエラーがでます。

カナ
ﾀﾅｶ ﾀﾛｳ
ｽｽﾞｷ ｼﾞﾛｳ

data = 'data.csv'

from pykakasi import kakasi
import mojimoji

kakasi = kakasi()  # Generate kakasi instance

kakasi.setMode("K", "a")  # Katakana to ascii
kakasi.setMode("r", "Hepburn")  # Use Hepburn romanization
conv = kakasi.getConverter()

import pandas as pd
df = pd.read_csv(data, engine="python", dtype='object')

result = []
for s in df['カナ']:
    s = mojimoji.han_to_zen(s)
    result.append(conv.do(s))

>>> for s in df['カナ']:
...     s = mojimoji.han_to_zen(s)
...     result.append(conv.do(s))
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
TypeError: Argument 'text' has incorrect type (expected str, got float)

>>> df.dtypes
カナ            object

引数textはsを指しているのでしょうか。
かなり悩みましたが解決しません。
よろしくお願い致します。

Comments

[can110]

テキストファイル「data.csv」のエンコーディングは何でしょうか？（utf-8,shift-JISなど）

[退会済みユーザー]

ご回答ありがとうございます。Shift-JISです。

Answer 1

pandasでは解消されなかったため
標準ライブラリで読み込む。

data = 'data.csv'
outfile = 'outfile.csv'
import csv
rowList = []
with open(data, 'r') as f:
    reader = csv.reader(f)
    header = next(f)
    for row in reader:
        row[3] = mojimoji.han_to_zen(row[3]) #全角カナに変換
        row[3] = conv.do(row[3]) #ローマ字変換
        rowList.append(row)

Answer 2

read_csvでencoding='shift_jis'を指定してはいかがでしょうか。
当方環境では正常に動作しました。

data = 'data.csv'

from pykakasi import kakasi
import mojimoji

kakasi = kakasi()  # Generate kakasi instance

kakasi.setMode("K", "a")  # Katakana to ascii
kakasi.setMode("r", "Hepburn")  # Use Hepburn romanization
conv = kakasi.getConverter()

import pandas as pd
df = pd.read_csv(data, engine="python", dtype='object',encoding='shift_jis')

result = []
for s in df['カナ']:
    s = mojimoji.han_to_zen(s)
    result.append(conv.do(s))

print(result) # ['tanaka\u3000tarou', 'suzuki\u3000jirou']

Comments

[退会済みユーザー]

shift_jisを指定すると下記エラーが出ました。
UnicodeDecodeError: 'shift_jis' codec can't decode byte 0xfa in position 6716: illegal multibyte sequence
encoding='Shift_JISx0213'とすると、
read_csvのエラーは無くなりましたが
floatのエラーは出たままです。