DBにタプルで入った座標データをplot

Question

前提・実現したいこと

データベースの中の１列にタプル形式で入っている座標データを散布図でプロットしたいです。
データベースに書き込む際に別々の列に入れておけば簡単にできたのでしょうが、よく考えず１列に入れてしまい実験データを再度取る訳にも行かず困っています。
下の追記に書いている結果のposにある1つ目と3つ目の値をxy平面の散布図でプロットしたいです。

文字列などをバラして数値に変換する方法はあったと記憶していますが、DataFrameの全ての行に対してそれを行うということは可能でしょうか。それかデータベースから作り直すしかないのでしょうか？

発生している問題・エラーメッセージ

そのままタプルの入った列をプロットしようとすると当然ですが

ValueError: scatter requires x colums to be numeric.

と怒られてしまいます。

該当のソースコード

conn_sql = sqlite3.connect("./database/database.db")
df = pd.read_sql_query("SELECT * FROM table", conn_sql)

df.plot.scatter()
plt.show()

以下追記

df = pd.read_sql_query()の次の行にて
print(df.head())とすると

   cnt                        time        pos
0    1  2020-03-22 10:25:55.788045        (0, 0, 0)   
1    2  2020-03-22 10:25:56.927810  (1.2, 0.1, 1.1)   
2    3  2020-03-22 10:25:57.962841  (2.3, 0.3, 0.9)   
3    4  2020-03-22 10:25:59.071519  (2.9, 0.2, 1.3)   
4    5  2020-03-22 10:26:00.103833  (4.2, 0.3, 1.4)

print(type(df.iat[0,0]))とすると

<class 'numpy.int64'>

print(type(df.at[0,'pos']))とすると

<class 'str'>

がそれぞれ返ってきました。

Comments

[magichan]

df = pd.read_sql_query()
の次の行にて
print(df.head())
と
print(type(df.iat[0,0]))
を行い、それぞれ結果を貼っていただけないでしょうか。

[take_19]

本文の方に追記いたしました。

[magichan]

ありがとうございました。
すみません、想定が違ってた（ポジションデータは１列目にあると思ってたが、実際は３列目だった・・）ので、もう１つ確認をお願いします。
print(type(df.at[0,'pos']))
の結果をお願いします。

[take_19]

同様に追記しました。
BLOB(?)で入るとタプルのまま入っているものだと思い込んでいましたが、この感じだと文字列で入ってしまっているのでしょうか…?

[magichan]

ありがとうございます。
私もてっきり ''<class 'tuple'>" が返ってくるものと思っていたのですが・・・文字列のようですね。

Answer 1

pos列のデータが文字列とのことですので、何かしらの方法で文字列から数値を抜き出す必要があります。

考えられる方法としては

• 正規表現にて数値部抜き出すこと
• ast.literal_eval() を使って文字列→タプル変換をおこなう

あたりでしょうか。

■ 正規表現で抜き出す方法

pat = "(([+-]?\d+(?:.\d+)?)\s?,\s?([+-]?\d+(?:.\d+)?)\s?,\s?([+-]?\d+(?:.\d+)?))"
tmp = df['pos'].str.extract(pat).rename(columns={0:'x',1:'y',2:'z'}).astype('float')
df = df.drop(columns='pos').join(tmp)
print(df)

■ ast.literal_eval() を使って抜き出す方法

import ast

tmp = df['pos'].apply(lambda d: pd.Series(ast.literal_eval(d), index=['x','y','z']))
df = df.drop(columns='pos').join(tmp)
print(df)

これらの処理により、タプル（文字列）内の数値は列データに展開されます。
（上記のサンプルでは、タプル内の各数値はそれぞれ 'x','y', 'z' 列に展開しております。）

あとは、X軸、Y軸にプロットする列名を指定して

df.plot.scatter(x='x', y='z')
plt.show()

でプロットできるかと思います。