データフレームの要素を数値で行列表記したい

Question

前提・実現したいこと

テキストデータとして出力された動画内の動く人物の座標データを処理したいです。
それぞれの要素がobject型になっているのをfloat型に直して、さらに(x,y)のように行列表記をしたいです。
以下のようなデータが85行分あります。

0:517.5 669.5:person, 106.0 462.0:person, 396.0 362.5:person, 646.5 377.0:person,
1:516.5 666.0:person, 106.0 458.5:person, 386.5 362.5:person, 654.5 378.0:person, 36.5 459.5:person,
2:506.5 660.0:person, 107.0 454.0:person, 654.5 393.0:person, 386.5 369.0:person,
3:508.0 661.5:person, 106.0 452.5:person, 380.5 361.0:person, 653.0 394.0:person,
4:510.0 663.0:person, 106.5 454.0:person, 649.5 388.5:person, 380.5 364.0:person,
5:107.0 456.0:person, 650.5 390.5:person, 510.5 661.5:person, 383.0 365.5:person,

発生している問題・エラーメッセージ

ValueError                                Traceback (most recent call last)
<ipython-input-5-5e185effa98f> in <module>()
     18 data.E = data.E.str.split()
     19 
---> 20 data = data.astype(np.float)
     21 
     22 data

5 frames
/usr/local/lib/python3.6/dist-packages/pandas/core/generic.py in astype(self, dtype, copy, errors, **kwargs)
   5880             # else, only a single dtype is given
   5881             new_data = self._data.astype(
-> 5882                 dtype=dtype, copy=copy, errors=errors, **kwargs
   5883             )
   5884             return self._constructor(new_data).__finalize__(self)

/usr/local/lib/python3.6/dist-packages/pandas/core/internals/managers.py in astype(self, dtype, **kwargs)
    579 
    580     def astype(self, dtype, **kwargs):
--> 581         return self.apply("astype", dtype=dtype, **kwargs)
    582 
    583     def convert(self, **kwargs):

/usr/local/lib/python3.6/dist-packages/pandas/core/internals/managers.py in apply(self, f, axes, filter, do_integrity_check, consolidate, **kwargs)
    436                     kwargs[k] = obj.reindex(b_items, axis=axis, copy=align_copy)
    437 
--> 438             applied = getattr(b, f)(**kwargs)
    439             result_blocks = _extend_blocks(applied, result_blocks)
    440 

/usr/local/lib/python3.6/dist-packages/pandas/core/internals/blocks.py in astype(self, dtype, copy, errors, values, **kwargs)
    557 
    558     def astype(self, dtype, copy=False, errors="raise", values=None, **kwargs):
--> 559         return self._astype(dtype, copy=copy, errors=errors, values=values, **kwargs)
    560 
    561     def _astype(self, dtype, copy=False, errors="raise", values=None, **kwargs):

/usr/local/lib/python3.6/dist-packages/pandas/core/internals/blocks.py in _astype(self, dtype, copy, errors, values, **kwargs)
    641                     # _astype_nansafe works fine with 1-d only
    642                     vals1d = values.ravel()
--> 643                     values = astype_nansafe(vals1d, dtype, copy=True, **kwargs)
    644 
    645                 # TODO(extension)

/usr/local/lib/python3.6/dist-packages/pandas/core/dtypes/cast.py in astype_nansafe(arr, dtype, copy, skipna)
    727     if copy or is_object_dtype(arr) or is_object_dtype(dtype):
    728         # Explicit copy, or required since NumPy can't view from / to object.
--> 729         return arr.astype(dtype, copy=True)
    730 
    731     return arr.view(dtype)

ValueError: setting an array element with a sequence.

該当のソースコード

import pandas as pd
import numpy as np

data = pd.read_table('basket.data.txt',names=('A','B','C','D','E'),sep=',')

data.A = data.A.str.replace('^[0-9]+:','')

data.A = data.A.str.strip(':person')
data.B = data.B.str.strip(':person')
data.C = data.C.str.strip(':person')
data.D = data.D.str.strip(':person')
data.E = data.E.str.strip(':person')

data.A = data.A.str.split()
data.B = data.B.str.split()
data.C = data.C.str.split()
data.D = data.D.str.split()
data.E = data.E.str.split()

data = data.astype(np.float)

data

ネットに記載されているものは一通りやってみたのですが、どれも自分ではうまくいきませんでした。
それができれば、最近傍法をつかって同一人物を判定してそれぞれの列に並び変えることに挑戦します。それに関してもヒントなどあれば教えていただきたいです。
よろしくお願いします。

Comments

[meg_]

エラーメッセージは全文掲載しましょう。

[shu214]

初めてなもので、質問の仕方が悪かったです。申し訳ございません。
更新しました。

Answer 1

こう・・かな？
(x,y)表記はとりあえずタプルにしてみました。

import pandas as pd
import numpy as np

data = pd.read_table('basket.data.txt',names=('A','B','C','D','E'),sep=',')

data.A = data.A.str.replace('^[0-9]+:','')

data.A = data.A.str.strip(':person')
data.B = data.B.str.strip(':person')
data.C = data.C.str.strip(':person')
data.D = data.D.str.strip(':person')
data.E = data.E.str.strip(':person')

data.A = data.A.str.split()
data.B = data.B.str.split()
data.C = data.C.str.split()
data.D = data.D.str.split()
data.E = data.E.str.split()


print(type(data.loc[0, 'A'][0]))
"""
<class 'str'>
"""

data = data.applymap(lambda x: tuple(np.array(x).astype(np.float)) if np.array(x).ndim != 0 else x)
print(data)
"""
                A               B               C               D              E
0  (517.5, 669.5)  (106.0, 462.0)  (396.0, 362.5)  (646.5, 377.0)            NaN
1  (516.5, 666.0)  (106.0, 458.5)  (386.5, 362.5)  (654.5, 378.0)  (36.5, 459.5)
2  (506.5, 660.0)  (107.0, 454.0)  (654.5, 393.0)  (386.5, 369.0)            NaN
3  (508.0, 661.5)  (106.0, 452.5)  (380.5, 361.0)  (653.0, 394.0)            NaN
4  (510.0, 663.0)  (106.5, 454.0)  (649.5, 388.5)  (380.5, 364.0)            NaN
5  (107.0, 456.0)  (650.5, 390.5)  (510.5, 661.5)  (383.0, 365.5)            NaN
"""


print(type(data.loc[0, 'A'][0]))
"""
<class 'numpy.float64'>
"""

---

私の当初環境ではE列にスペースが入っていたため、NaNが混入していなかったみたいです。

スペースを消してNaNを混入した状態に対応してみました。

データが入っていればdata.?.str.split()によって１次元配列ができています。
NaNの場合は１次元配列にならずそのままデータが残ります。
それをnp.array(x).ndim != 0で見分けます。NaNを別の値にしたい場合は最後のxを別の式に置き換えてください。

Comments

[shu214]

TypeError Traceback (most recent call last)
<ipython-input-18-5ef9437ac67e> in <module>()
----> 1 data = data.applymap(lambda x: tuple(np.array(x).astype(np.float)))
2 print(data)

6 frames
/usr/local/lib/python3.6/dist-packages/pandas/core/frame.py in applymap(self, func)
6992 return lib.map_infer(x.astype(object).values, func)
6993
-> 6994 return self.apply(infer)
6995
6996 # ----------------------------------------------------------------------

/usr/local/lib/python3.6/dist-packages/pandas/core/frame.py in apply(self, func, axis, broadcast, raw, reduce, result_type, args, **kwds)
6926 kwds=kwds,
6927 )
-> 6928 return op.get_result()
6929
6930 def applymap(self, func):

/usr/local/lib/python3.6/dist-packages/pandas/core/apply.py in get_result(self)
184 return self.apply_raw()
185
--> 186 return self.apply_standard()
187
188 def apply_empty_result(self):

/usr/local/lib/python3.6/dist-packages/pandas/core/apply.py in apply_standard(self)
290
291 # compute the result using the series generator
--> 292 self.apply_series_generator()
293
294 # wrap results

/usr/local/lib/python3.6/dist-packages/pandas/core/apply.py in apply_series_generator(self)
319 try:
320 for i, v in enumerate(series_gen):
--> 321 results[i] = self.f(v)
322 keys.append(v.name)
323 except Exception as e:

/usr/local/lib/python3.6/dist-packages/pandas/core/frame.py in infer(x)
6990 if x.empty:
6991 return lib.map_infer(x, func)
-> 6992 return lib.map_infer(x.astype(object).values, func)
6993
6994 return self.apply(infer)

pandas/_libs/lib.pyx in pandas._libs.lib.map_infer()

<ipython-input-18-5ef9437ac67e> in <lambda>(x)
----> 1 data = data.applymap(lambda x: tuple(np.array(x).astype(np.float)))
2 print(data)

TypeError: ('iteration over a 0-d array', 'occurred at index E')

こういうエラーが出ました。
5行分のデータには入ってないのですが、要素のない箇所がけっこうありまして、そこでどうやらエラーがおこっているようです。if文とかで対処できるのでしょうか？

[shu214]

すごい！
できました！！！
ありがとうございます！