AWS MongoDB3.4 → ElasticSearch Service 7 へのデータ移行

Question

AWSのEC2にインストールしたMongoDB（Ver 3.4.18）からElasticsearch Service（Ver 7.1）
へデータ移行を試みています。

AWS Database Migration Service

https://aws.amazon.com/jp/dms/
を使用してみましたが、移行できないデータがあったためサポートに問い合わせ中です。
↓
この点に関してはサポートから返答がありました。
Mongoのデータは一度DMSデータ型というのに変換されるのですが、
https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_Source.MongoDB.html
でAWS DMS データ型がCLOBとなっているものはElasticsearch Serviceに現在は移行できないそうです。
つまり、MongoのString型は無理とのことでした。（いつか対応するかと思いますが・・・）
どうしてもDMSを使うのであれば、一度S3やRDSに移行してからElasticsearch Serviceに移行
という手順でいけるかもしれません。

mongo-connector

他の方法を調べたところ
https://github.com/yougov/mongo-connector
が見つかりましたが、対応するElasticsearchのバージョンが5までのようなので使えません。

その他、良い方法をご存知でしたら、教えて下さい。

以上、よろしくお願いします。

Answer 1

embulkとかはどうでしょう？
https://github.com/embulk/embulk

• mongodbのinputプラグイン

https://github.com/hakobera/embulk-input-mongodb

• elasticsearchへのoutputプラグイン

https://github.com/embulk/embulk-output-elasticsearch

Comments

[ryo-kun]

ありがとうございます！
embulkは少し触った事があるのですが、すっかり忘れておりました・・

[yu_1985]

embulkはドキュメントがちょっとわかりづらくて苦労しますよね…。
自分も今苦労してembulkに触っているところです。でも異なるデータソース間でデータ移行するには良いツールだと思います。