csvファイルの結合について

Question

前提・実装したいこと

映画のレコメンド機能を実装中なのですが、二つのデータフレームを組み合わせようと思ったところ、以下のようなエラーが出ました。
■■な機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

merged = pd.merge(ratings, movie_new)を実行すると
You are trying to merge on int64 and object columns. If you wish to proceed you should use pd.concat
というエラーが出ます。
また、merged = pd.concat(ratings, movie_new)を実行すると、
first argument must be an iterable of pandas objects, you passed an object of type "DataFrame"
というエラーが出ます。

該当のソースコード

merged = pd.merge(ratings, movie_new)
merged = pd.concat(ratings, movie_new)

試したこと

補足情報（FW/ツールのバージョンなど）

Answer 1

たぶんこれじゃないかなぁ。

merged = pd.concat([ratings, movie_new], axis=1)

Comments

[matt17]

早速の回答ありがとうございます。
確かにファイルの結合はできました。
ratingsの方のmovieIdと、movie_newの方のmovieIdを結びつけたいのですが、
この方法だと結びつけが行われずそのまま結合されます。
それぞれのmovieIdを結びつけた上で結合するにはどのようにすればよいでしょうか。

[tachikoma]

merged = ratings.merge(movie_new, on="movieId")かな

[matt17]

ratings.mergeだとconcatを使用してくださいとエラーになるので、ratings.concatで実行すると、
'DataFrame' object has no attribute 'concat'というエラーになってしまいます。
なんども申し訳ございません。

[tachikoma]

movieIdのタイプが２つのDataFrameでずれてませんか？片方がIntで片方がobject型になってると思うのですが。

[matt17]

ratingsの方はintになっており、movie_newの方はobject型になっておりました。
どちらもint型にするにはどのようにすればよいでしょうか。

[matt17]

movie_new['movieId'].astype(np.int64)を実行した時
ValueError: invalid literal for int() with base 10: '1997-08-20'
このようなエラーが出ます。

[tachikoma]

movie_new['movieId']の中に日付の文字列が入っていますね。これではmergeできないので、元のDataFrameの中身が意図したものになっているかをまず確認してください。つまり、日付になっているのが例外的なのか全部そうなのかの確認をお願いします。

[matt17]

日付になっているものは全て削除しました。そしてどちらもint型に直しました。
しかし、先ほどと同様なエラーが出てしまいます。
何度も申し訳ございません。

[tachikoma]

結合する直前にdf.dtypesでそれぞれのデータフレームの要素の型を確認してみて下さい。astypeでキャストした結果をもとのデータフレームに戻し忘れてるきがしています。

[matt17]

申し訳ございません、movie_newのmovieIdの要素の型をint型にする方法を教えてください。
何度も申し訳ございません。

[tachikoma]

movie_new[‘movieId’] = movie_new[‘movieId’].astype(int)

[matt17]

何度も申し訳ございませんでした。
無事結合できました。本当にありがとうございました。

[tachikoma]

お疲れ様でした〜。

Answer 2

Google翻訳

You are trying to merge on int64 and object columns. If you wish to proceed you should use pd.concat

int64とオブジェクトの列をマージしようとしています。 続行したい場合は、pd.concatを使用してください。

first argument must be an iterable of pandas objects, you passed an object of type "DataFrame"

最初の引数はpandasオブジェクトのiterableでなければならず、 "DataFrame"