pandasの要素にlistを格納したいがValueErrorが出る

Question

PythonのPandasの要素にリストを格納したいと思っているのですが、.ilocやlocで指定して入力しようとするとエラーが出ます（下の例であれば、(0,0)要素に[1,2,3]を格納したいのですすが、ValueErrorが出ます）。この場合、どのように対応したらいいでしょうか？

df = pd.DataFrame(np.arange(12).reshape(3,4))
df.iloc[0,0] = [1,2,3] # ValueError: setting an array element with a sequence.

Answer 1

以下のようにやれば、astype(object)を行わなくても代入することができます。
ただし、別の警告が出ます。

>>> df = pd.DataFrame(np.arange(12).reshape(3, 4))
>>> df['col'] = ['a', 'b', 'c']
>>> df['col'][0] = [1, 2]
<stdin>:1: SettingWithCopyWarning:
A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
>>> print(df)
   0  1   2   3     col
0  0  1   2   3  [1, 2]
1  4  5   6   7       b
2  8  9  10  11       c

• そもそもobjectって何でもOKな型との素人認識ですが、なぜこれだとエラーになるのでしょうか、、。

ilocとlocでは同じような動作をすることを期待するのになぜ異なった動きをするのかという疑問ですね。

こういうことはドキュメントにも書かれていませんので推定するしかありません。
私は、pandasの開発者が主たる目的としている使い方ではないために、詳細な設計を行っていないのだろうと考えています。

pandasのホームページには以下のように書かれています。

pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language.

Google翻訳

pandasは、Pythonプログラミング言語の上に構築された、高速で強力、柔軟性があり、使いやすいオープンソースのデータ分析および操作ツールです。(Google翻訳)

データ分析・操作ツールとしては、データとしてリストを格納しなければならない状況はほとんでお考えられないので、優先順位は低くなり、実装依存になっているのでしょう。

このようなことが起こるのはpandasがコミュニティによって開発され、厳密さに欠けるオープンソースソフトウェアだからです。
「任意長の文字列を格納するためにnumpyのobject型をサポートするのが簡単です。」
「その場合、リストやタプルも入ってしまうけれど仕様を決めるのが大変そう」
「データ分析ではそういうのは使われないから実装依存でいいんじゃないかなあ」
というノリです。

日本のしっかりしたソフトウェア会社で開発すれば、上記のようなことは起こりません。
「リストを格納するときの仕様を決めるために設計工数が3人月程度かかります」
「リストを格納するのは必要なのか」
「いいえ」
「それならリストを格納するのは全部止めてしまおう。下手に動かしておくととインシデントの原因になる」
という感じでバッサリです。

Comments

[MagMag]

なるほど、ありがとうございました！

Answer 2

objectにしてしまえばセットできます。
が、これが本来やりたいことか、あるいは結果としてやりたいことに向いているかは不明です。

import pandas as pd
import numpy as np

df = pd.DataFrame(np.arange(12).reshape(3,4))
df = df.astype(object)
df.iloc[0,0] = [1,2,3]
print(df)
#           0  1   2   3
#0  [1, 2, 3]  1   2   3
#1          4  5   6   7
#2          8  9  10  11

Comments

[MagMag]

早速ありがとうございます。試してみたところ、上の例だと問題ないものの、自分のDataFrameだとやはりエラーが出ました。再現条件として、以下のように設定してみました。そもそもobjectって何でもOKな型との素人認識ですが、なぜこれだとエラーになるのでしょうか、、。再現条件提示が不十分で申し訳ありません。

df = pd.DataFrame(np.arange(12).reshape(3, 4))
df['col'] = ['a', 'b', 'c']
df = df.astype(object)
df.loc[0, 'col'] = [1, 2] # ValueError: Must have equal len keys and value when setting with an iterable

[ikapy]

astype(object)はある意味万能と思われるので、とりあえず所望の結果が得られるとしても、後々の処理は自己責任で行なわなければならないです。僕としては、データおよびデータ構造をしっかり把握してから使った方がよいかなと・・・