質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Elixir

Elixirは、並列処理や関数型に特化した、Erlang VM (BEAM) 上で動作する汎用プログラミング言語です。分散システム、耐障害性、ソフトリアルタイムシステムなどの機能を持ちます。

Q&A

解決済

1回答

537閲覧

Enum から Flow への書き換え

tajihiro

総合スコア14

Elixir

Elixirは、並列処理や関数型に特化した、Erlang VM (BEAM) 上で動作する汎用プログラミング言語です。分散システム、耐障害性、ソフトリアルタイムシステムなどの機能を持ちます。

0グッド

1クリップ

投稿2019/06/12 08:17

編集2019/06/12 08:21

200万件データを処理する下記のプログラムがあります。動作済み。

elixir

1 out_file = "./output.tsv" 2 result = "./input.tsv" 3 |> File.stream! 4 |> CSV.decode(separator: ?\t, headers: headers) 5 |> Enum.map(&(elem(&1, 1))) 6 |> Enum.group_by(&{&1.id, &1.name}) 7 |> Enum.map(&(format_data(&1))) 8 File.write(out_file, result)

高速化するために、Flow を利用しようと思って下記のように書き直しました。
Enumに似たような関数がそろっていたので、純粋に Flow.from_enumerableを追記して、EnumFlow に書き換えだけです。

elixir

1 out_file = "./output.tsv" 2 result = "./input.tsv" 3 |> File.stream! 4 |> CSV.decode(separator: ?\t, headers: headers) 5 |> Flow.from_enumerable(stages: 4) 6 |> Flow.map(&(elem(&1, 1))) 7 |> Flow.group_by(&{&1.id, &1.name}) 8 |> Flow.map(&(format_data(&1))) 9 File.write(out_file, result)

全く動作しないのですが、そもそもFlowの利用方法が異なると思いますが、アドバイスをお願い致します。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

結論から言うと、最後の Enum.to_list()が必要だった。

Elixir

1 out_file = "./output.tsv" 2 result = "./input.tsv" 3 |> File.stream! 4 |> CSV.decode(separator: ?\t, headers: headers) 5 |> Flow.from_enumerable(stages: 4) 6 |> Flow.map(&(elem(&1, 1))) 7 |> Flow.group_by(&{&1.id, &1.name}) 8 |> Flow.map(&(format_data(&1))) 9 # ↓↓↓↓↓ 必須 ↓↓↓↓ 10 |> Enum.to_list() 11 File.write(out_file, result) 12

ちなみに2時間掛かっていた処理が、1分になりました。(with 4 Cores)

投稿2019/06/13 01:57

編集2019/06/13 01:58
tajihiro

総合スコア14

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問