pivotの限界について

Question

データフレーム化したデータ(df)の行列を再配置すべく、df1=df.pivot('date','ric','price')としたいのですが、エラーで処理されません。

エラーコードは一番下の行が、
Value Error:Index contains duplicate entries, cannnt reshape
とありますので、データ量自体が大きすぎるかなと思うのですが、データ要素自体は特に複雑ということはないと思います(日付と価格情報)

データはindexが1514428、columnsが8です。

データ量を絞るしかないのでしょうか。

Answer 1

['date','ric']が同一の（重複）行が複数存在すると同様エラーが発生します。
.drop_duplicatesで重複行を除去するか.pivot_tableを利用してください。
参考：Pandas pivot warning about repeated entries on index

import pandas as pd

df = pd.DataFrame({'foo': ['one','one','one','two','two','two','two'],
                       'bar': ['A', 'B', 'C', 'A', 'B', 'C','C'],
                       'baz': [1, 2, 3, 4, 5, 6,6]})

# 方法１:drop_duplicatesする
#df = df.drop_duplicates(['foo','bar'])
#df2 = df.pivot('foo', 'bar','baz')

# 方法２:pivot_tableを使う
df2 = df.pivot_table(index='foo', columns='bar', values='baz')

#print('---\n',df)
print('---\n',df2)

Comments

[jun.k]

coco_bauer様のご教示で解決したのですが、具体的なコード例まで載せて頂いたので大変わかりやすかったです。ありがとうございました!!。

Answer 2

Value Error:Index contains duplicate entries, cannnt reshape
(Indexに重複した項目があるので、再配置できません）
というのがエラーメッセージなのですから、データ量の問題ではなく、データの内容に問題があります。

データの内容を精査して、
・重複を削除して問題なければ、indexが重複するデータの削除で対処
・重複を削除できないのであれば、pivotではなくpivot_tableをつかって複数の表に再配置する等の対処
をするなどの選択枝がありそうに思えます。
（どのようなデータであるのかが判りませんので、具体的な助言はできかねます）

Comments

[jun.k]

エラーメッセージの読み違えしていました。重複はそのままにしておきたいので、pivot_tableを使ってできました。早々とご回答いただきありがとうございました!!