pivot_table()について

Question

前提・実現したいこと

映画レビューのデータを整形している途中、pivot_tableを使うと、kernelが終了したので再起動します、というメッセージが出てしまいます。
他のデータセットだと動くものもあります。

発生している問題・エラーメッセージ

The kernel appears to have died. It will restart automatically.

該当のソースコード

#必要なライブラリーのインポート
import pandas as pd
import numpy as np 
from scipy.sparse import csr_matrix
from sklearn.neighbors import NearestNeighbors

#データの読み込み
ratings = pd.read_csv('ratings.csv')
movie = pd.read_csv('movies.csv')

#movieデータのindexの変更
movie=movie[['movieId','title']]
#ratingsデータのindexの変更
ratings=ratings[['userId','movieId','rating']]

#movieデータとratingsデータをmergeする
merged = ratings.merge(movie, on="movieId")
#mergeデータのindexの変更
merged= merged[['userId','title','rating']]
#mergeデータをタイトルでソートする
merged=merged.sort_values('title',ascending= False)

#データセットのピボット
movie_pivot=merged.pivot_table(index='title',columns='userId',values='rating',fill_value=0)

Answer 1

該当するエラーメッセージはメモリのオーバーフロー時に表示されることがあるようです。
https://casualdevelopers.com/tech-tips/how-to-fix-the-error-that-the-kernel-appears-to-have-died-on-jupyter-notebook-with-docker/
もしかしたらデータ量が多かったのかも知れませんね。
読み込ませるデータ量を減らしてから試してみてはいかがでしょうか？

Comments

[matt17]

ご回答ありがとうございます。
データ量を減らす方法として、ランダムで列を1/4の量にしようと思います。