Pythonで大容量のcsv結合がしたい

Question

2つのcsvをidをキーとして結合したいです。
2つとも容量が大きく(2千万行と百万行)です。上10000行を抽出した別ファイルならば結合することができました。
エラー文など出ていますが、容量の小さいプログラムなら正常に動作していることからプログラムのミスはないと思います。

import pandas as pd

dfA = pd.read_csv('geotag3.csv',names=('id','time','lati','long','url'),low_memory=False)
dfB = pd.read_csv('tag3.csv',names=('id','tag'),low_memory=False)

df = pd.merge(dfA,dfB,on='id',how='right')

df1.to_csv('zikken1.csv',index=False)

Traceback (most recent call last):
  File "zi.py", line 6, in <module>
    df = pd.merge(dfA,dfB,on='id',how='right')
  File "C:\Program Files (x86)\PsychoPy3\lib\site-packages\pandas\core\reshape\merge.py", line 61, in merge
    validate=validate)
  File "C:\Program Files (x86)\PsychoPy3\lib\site-packages\pandas\core\reshape\merge.py", line 555, in __init__
    self._maybe_coerce_merge_keys()
  File "C:\Program Files (x86)\PsychoPy3\lib\site-packages\pandas\core\reshape\merge.py", line 986, in _maybe_coerce_merge_keys
    raise ValueError(msg)
ValueError: You are trying to merge on object and int64 columns. If you wish to proceed you should use pd.concat```

Answer 1

ValueError: You are trying to merge on object and int64 columns. If you wish to proceed you should use pd.concat

pandasは全く触ったことがないですが型エラーと思います。

https://stackoverflow.com/questions/50649853/trying-to-merge-2-dataframes-but-get-valueerror

'id' カラムは数値であるべきなのに数値でない値が紛れてしまっているなどないでしょうか。

Answer 2

型のエラーなら取りあえずstrに変換しておけばいいのではないでしょうか。

dfA = pd.read_csv('geotag3.csv',names=('id','time','lati','long','url'),low_memory=False).astype(str)
dfB = pd.read_csv('tag3.csv',names=('id','tag'),low_memory=False).astype(str)

多分こうだと思います。

Answer 3

ValueError: You are trying to merge on object and int64 columns. If you wish to proceed you should use pd.concat

まずはエラー文通り、pd.concatを使ってみてはどうでしょうか？

Comments

[Parco1021]

pd.concat()を調べたのですが、最終的に結合したcsvを検索システムで用いるので今回の課題に適していないと思い断念しました

[Wind]

それでしたら同じくエラー文通りint64型とobject型を結合しようとしていますので、
2千万行と百万行を細かく分割して結合してみて、
エラーになるデータを絞り込んでみるのはどうでしょう？

[Parco1021]

調べてみたところ、型が異なる箇所が存在しました。大容量すぎて一つ一つ手作業で訂正することが不可能なのですが、一括で型を変更する方法はありますか？

[Wind]

型が異なる箇所が列なのか行なのか、どちらの型がどうなっていてどう変えたいのか全くの不明なのですが、
例えばNGデータや不要なデータでしたら0を入れるとかでどうでしょう？
型を揃えて使用したい場合は「Python 型変換」等で検索すれば変換方法が出てきます。