質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
Elasticsearch

Elasticsearchは、クラウド向けに構築された、RESTful な API を提供する分散型のサーチエンジンアプリケーションです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

0回答

1205閲覧

PandasのDataFrameを使ってElasticsearchに日付単位のインデックスにデータ投入したい

zenji0705

総合スコア69

Elasticsearch

Elasticsearchは、クラウド向けに構築された、RESTful な API を提供する分散型のサーチエンジンアプリケーションです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2020/05/13 02:38

PandasのDataFrameの内容をElasticsearchに日付単位のインデックスにデータ投入したいです。
DataFrameの内容をそのまま登録する方法はわかるのですが、さらにElasticSearchを日付単位に分けたインデックスにデータ投入する方法が知りたいです。
DataFrameをスライスするなどの方法を模索しましたが分からない状態です。

ElasticSearchのインデックスは'test-20200510','test-20200511','test-20200512'と出来上がっている状態で、投入できればkibanaで表示しようと考えております。

大変恐縮ですが、アドバイスいただけると助かります。

DataFrameの作成

1df = pd.DataFrame({ 2 'date' : [[10/May/2020:13:17:56 +0000], [11/May/2020:20:17:56 +0000], [11/May/2020:13:17:56 +0000], [12/Mar/2020:00:17:56 +0000]], 3 'test_seq' : [1, 2, 3, 4], 4 'test_info' : [aaa, bbb, ccc, ddd], 5 'Risk' : [normal, normal, high, normal], 6 'category' : [category_001, category_001, category_003, category_003] 7 })

python3

1from elasticsearch import helpers 2 3# Generatorを定義 4def es_doc_generator(index,df): 5 records = [d[1] for d in df.iterrows()] 6 docs_es = [{key: doc[key] for key in doc.keys()} for doc in records] 7 for doc in docs_es: 8 hashid = hash(frozenset(doc.items())) 9 yield { 10 "_index": index, 11 "_id": doc_id, 12 "_type": "_doc", 13 "_source": doc, 14 } 15 16# bulkで投入 17helpers.bulk(es,es_doc_generator("test-YYYYMMDD",df)) # ひとつのインデックスにまとめて投入

###開発環境
python 3.6.8
ElasticSarch 7系

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問