常連

Twitterなどで、よく「Python完全に理解した」のようなことが書かれてあるのを見ますが、
プログラミング言語の中級者または上級者というのはどの程度のことを理解しているレベルなのでしょうか？

たとえば
- Python、Rubyなどのスクリプト言語
- C言語などのような汎用的な言語
- Elixirなどの関数型言語
- Linuxなどのシェル
- Ruby on RailsなどのWEBフレームワーク
- AWSなどのクラウドサービス

などで、何をどの程度理解していれば、中級者、あるいは上級者なのでしょうか？
どれか一つでも構いませんので、もし詳しい方がいらっしゃれば、学習ロードマップなどについて教えていただきたいです。
たとえば、「実用的なプロクラムが書ける」=「中級者」とするなら、実用的なプログラムとそうでないプログラムの違いは何になるのでしょうか。
これからの学習の参考にしたいと思っております。

なぜ自分が中級者や上級者を意識するかと言えば、それはプログラミング言語を使って何かを実装するときに、「まずググる」ということをやっているうちは学習効率が良くない気がするからです。自分にはコンピュータサイエンスのバックグラウンドはありませんが、書籍でコンピュータサイエンスをまなんだことはあります。しかし、それが役立っている感じがあまりなく、プログラミング上級者の人たちはどういうことを頭の中で描いているのかが気になるからです。

ご教示いただけることがあれば、よろしくお願いいたします。

「プログラミング言語、完全に理解した」と言える上級者になるには

## 概要
Elixir + Phoenixが早い理由としてどこがキモになるのか。
関数型言語であること、並行処理が可能であることが大きなシナジーを生んでいる言語と考えてよいのか。
その場合、DBアクセス処理設計を行うときは、並行処理という特性を踏まえた慎重なものにしなければならないのか。

といった要旨です。
整理しきれずすみません。質問が大きく二つございます。

## 質問したいこと - Elixir+Phoenixが早い理由

Elixir+PhoenixのCRUDを作ってみよう系のコードや[ベンチマークのコード](https://littlelines.com/blog/2014/07/08/elixir-vs-ruby-showdown-phoenix-vs-rails)を見ていると、
(言葉は悪いですが)特に工夫もないコードしかなく、(Erlangで並行処理を宣言する`spawn`が使われているわけではない）
これで高速なレスポンスが可能である理由がわかりませんでした。

言語特性として並行処理が可能である、VM内でのマルチプロセスが可能である
これが高速の根拠であるのなら、**Elixir+Phoenixは裏でマルチプロセス処理を行なっているから早い**
ということで良いのでしょうか。それとも単にErlangの関数型言語という仕様だったり、BEAM VMが優秀だからであって、
更にPhoenixは裏で自動ビルドしているので、スクリプト言語に比べて処理が高速である、ということでしょうか。
(=並行処理機能がベンチマーク結果に寄与しているわけではない)

また、もしElixir+Phoenixが裏でマルチプロセス処理を行なっているのであれば、
`|>`を使わない処理は全てElixir+Phoenixによって並行処理に変換されていたりするのでしょうか。。
(以下の質問はこの前提に立って話が進みます。ここがそもそも間違っていたらすみません。）

## 質問したいこと - 並行処理によるDBのデッドロック

Elixir+PhoenixでのAPIサーバーを構築する記事を読んでふと感じたのですが、
Erlangの特性である並行処理って、DBアクセス時に簡単にデッドロックを引き起こしてしまいそうなのですが、
実際のところどうなのでしょうか？
(実例が思いつかなくて恐縮です。次の項目で詳しく考えたことを書いてみています。)

うまく言えませんが、関数の設計において、
従来通り設計を行えばよくて、並行処理の特性などは考慮しなくても良いのか、
並行処理の特性を考えながら設計しなければならないのか....

また、後者の場合、アクセス処理は結局DBが行うものなので
Elixirに対応できるDBの選定などが必要になってくる気がしていますが、これも実際必要でしょうか？
(たとえばsqliteは実質的にマルチプロセス向きではなく、PostgreSQLはマルチプロセスで構築されてるから、
sqliteをElixir+PhoenixのDBとして使うと速攻で破綻してしまう、とか。。）

## 考えたこと

#### 仮定1
並行処理ということは、
普通にWebアプリケーションを作って、APIをPHPなんかで実装して、複数人からアクセスがきた時に発生する処理と、
Elixirで実装して、1人がアクセスしたときに発生する処理は
同じような処理が走るのではないかな(=同時DBアクセスが発生する)と想像しています。

なので、従来の実装の考え方では
> 「基本的に関数A内で定義してあるDBアクセス処理はこの順番で走るのだから、
>  この設計さえ間違えなければ、複数人アクセスがきても
> 誰しもが同じ順番でDBアクセスされるはずなので、問題は発生しない」

だったのが、
> 「Elixirで処理を関数Aにある通りに定義したが、どの処理が最初に走って終わるのかが明確ではないから
> 関数Aに内包される全てのDBアクセスの組み合わせを検証して、どれもデッドロックが生じないように
> クエリやアクセスを考えなければならない」

となるような気がしています。。

#### 仮定2
また、Elixir+Phoenixの早い理由がいまいちつかめていないのですが、
ソースを見ても関数をすごく細かい粒度に分割していたり、`spawn`を多用しているわけでもなく、
普通に他言語と同じような書き方をするだけで早くなっているような印象を受けました。
勝手な推測ですが、関数型言語ということで、関数単位で並行処理してるのかな？という妄想をしています。
(=JSにおける`varの巻き上げ`のような現象が、関数単位で発生する。
つまり必ずしも上から下に書いてある通りに処理されない...というイメージです。)

例えば次のような形です。
```php
//この場合、BとCはAの処理開始時に同時にスタートする
public function A(){
  $this->B();
  $this->C();
}

//こうすれば順番に処理される
public function X(){
  if($this->Y()){
    $this->Z();
  }
}
```

#### 結論
典型的なデッドロックの例として、
テーブルA, テーブルBがあって、
BがAに対して参照を持っている時、トランザクション1がAに対してUpdate, トランザクション2がBに対してInsertすると発生しますが、
DBアクセス処理が順番に処理されず、同時並行的に処理される場合、容易にこれが生じてしまいそうな気がしています。

なので、Elixir+Phoenixが高速な理由が仮定2の通りならば、
次のような関数の定義を行うと、デッドロックが(容易に)発生してしまうような気がしていますが、どうなのでしょうか。

```elixir
def 関数A_裏でspawnが自動で行われてると仮定すると、この関数ではデッドロックが発生する？(connect) do
  case TableA.Update(params) do
    {:ok, _} ->
      # ...
  case TableB.Insert(params) do
    {:ok, _} ->
      # ...
```

また上のコードが真である前提に立つと、
次のような形で定義すればデッドロックが起きないような気がしていますが、
さながらコールバック地獄で、実装が大変そうだな...と感じていますが
実際にデッドロックを意識したとき、PhoenixのDBアクセス部分を設計するときのコードは
大抵こんな形になるものなのでしょうか。

```elixir
def 関数A_パイプラインを使って順番に処理すれば、デッドロックが発生しない？(connect) do
  case TableA.Update(params) do
    {:ok, _} ->
      |> case TableB.Insert(params) do
       {:ok, params} ->
         # ...
    {:error, params} ->
      |> putMsg(:error, params)
```

## 付記

自分で調べていて混乱していたので、ここで使っている言葉の概念を次のようにまとめてみました。
(合っているといいのですが)

|ことば|意味|
|--|--|
|非同期処理|関数と関数の間隙にキューされた処理が割り込む。ワンオペでうまいこと厨房を回してるイメージ(レンジを3分にセットして、その間に配膳して、チンされたら取り出して....みたいな)|
|並行処理(マルチプロセス/マルチタスク)|別のプロセスを起動する。その分リソースを食う。複数人で処理を行うイメージ。きちんと管理しないと同期しない。お店で例えるとドライブスルー担当、調理担当、配膳担当がいて、それぞれちゃんと現在の業務内容を共有しないと業務が滞るイメージ|
|並列処理(マルチスレッド)|1つのプロセスの中で複数のスレッドを起動する。スレッドの使うメモリは共通。並行処理を包摂している。お店で例えると何店舗もあるチェーン店のそれぞれの動きを俯瞰で見てるイメージ|

正直言って`デッドロック`や`排他制御`などの用語の字面だけ知っているような初心者で、
Elixirについては実際にコードも書いたことがなく、
上の表を見てもわかるように、`マルチ***`についても全く詳しくないです。

このFWが早い理由と、並行でDBアクセスが発生するときどう処理するのか、といった点に興味を持っただけなので、
完全に杞憂だったらすみません。

十分な知識がないまま、色々質問してしまってすみません。
ご存知の方、ご回答のほどよろしくお願いいたします。

Elixir+Phoenixが早い理由と、これでDB処理を作った時のデッドロックについて

awsのec2にてelixir phoenixをデプロイし、ビルドをかけ、あとはホームページ閲覧といったところなのですが、http://公開ip:4000を叩いても開くことができず困っています。

phenixのコードにて何か追記が必要なのでしょうか？
それとも、aws関係の設定が不足しているのでしょうか？
当方初心者のため、詳しくご教授いただけますと幸いです。

### 試したこと

様々なサイトを参考にし、セキュリティのインバウンドのルール(http 80ポート接続設定）も済ませております

###ビルド結果
```
[ec2-user@ip-非公開 hello]$ mix phx.server
[info] Running HelloWeb.Endpoint with cowboy 2.9.0 at 127.0.0.1:4000 (http)
[info] Access HelloWeb.Endpoint at http://localhost:4000
[watch] build finished, watching for changes...
```

###使用しているマシンイメージ
```
Linux ip-非公開.ap-northeast-1.compute.internal非公開.amzn2.x86_64 #1 SMP Mon Nov 1 20:58:46 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
```
###Erlang elixir バージョン

```
Erlang/OTP 24 [erts-12.0] [source] [64-bit] [smp:1:1] [ds:1:1:10] [async-threads:1] [jit]
Elixir 1.14.0-dev (3b52a04) (compiled with Erlang/OTP 24)
```

awsのec2にてelixir phoenixのホームページ閲覧が不可能です。

###前提・実現したいこと

Ecto + Timex を使って、PostgreSQL の timestamp with timezone を扱いたいんですが、Model で持っている日時とデータベースに保存される時間がずれてしまうので、理由と対処法を知りたいです。

もっと別の方法があるよ、とかでもいいです。

参考

- https://github.com/bitwalker/timex_ecto
- https://hexdocs.pm/timex_ecto/Timex.Ecto.DateTimeWithTimezone.html

↑を読むと、カスタム複合タイプ datetimetz つくって対処するといいよって書いてある。

###発生している問題・エラーメッセージ

インタラクションに従って、データベースに datetimetz 型をつくって、Elixir からはTimex.Ecto.DateTimeWithTimezone 型の変数を入れられるようにしました。

```sql
CREATE TYPE datetimetz AS (
    dt timestamptz,
    tz varchar
);
```

Timex.Ecto.DateTimeWithTimezone な変数の中身をダンプすると以下のようになっています。

```elixir
IO.inspect model.inserted_at
# {{{2017, 6, 2}, {11, 41, 57, 93698}}, "Asia/Tokyo"}
```

データベースには以下のように登録されています。

```sql
("2017-06-02 20:41:57.093698+09",Asia/Tokyo)
```

9時間ずれている。。実際の時刻は上の方です（今日の午前11時に実行しました）。

###該当のソースコード

migrationファイル

```elixir
  def change do
    create table(:messages) do
      add :message, :text
      add :inserted_at, :datetimetz
    end
  end
```

モデルクラス

```elixir
schema "messages" do
  field :message, :string
  field :inserted_at, Timex.Ecto.DateTimeWithTimezone
end
```

インサート

```elixir
changeset = Message.changeset(%Message{}, %{message: message, inserted_at: Timex.now("Asia/Tokyo")})
Repo.insert(changeset)
```

###試したこと

すみません、何を試せばいいのかすら思いつかず。。

Ectoのコード読んだくらいです（でもよく分からなかった。。）

__2017-06-04 13:00 追記__

@mhashi さんのコメントにもあるように、インサートの際に UTC で入れないとダメなようです。
そもそも PostgreSQL の timestamp with timezone はタイムスタンプを UTC で持っており、それを、必要に応じて変換してから出力しているみたいなので、そこに JST の日時を入れてしまうと二重に +9 されてしまうようです。

たどり着いたコードとしては、
 `Ecto.Adapters.Postgres.Timestamp.encode/1` の中で

```elixir
:calendar.datetime_to_gregorian_seconds({{2017,6,4},{13,0,0}})
```

のようにして秒に変換しているのですが、当然ながらここではタイムゾーンは考慮されてないです。このタプルは、単純に Timex.Ecto.DateTimeWithTimezone の値 `{{{2017,6,4},{13,0,0}}, "Asia/Tokyo"}` のタイムスタンプ部分を取ってきているにすぎません。

__2017-06-04 13:00 追記ここまで__

###補足情報(言語/FW/ツール等のバージョンなど)

Elixir 1.4
ecto 2.1
timex 3.1
timex_ecto 3.1

PostgreSQL + Ecto + Timex でタイムゾーン付き日時情報の扱い方

Elixirを普段から使っている方がいれば、
・どのように勉強したか
・実際にゴリゴリかけるようになるまでどのくらいの期間かかったか
・注意すべき点
上記ご教示いただきたく存じます。

何卒よろしくお願い申し上げます。

Elixirを習得したい

### 前提・実現したいこと

elixirの環境構築で詰まっています。
↓に従って進めています。
https://asdf-vm.com/#/core-manage-asdf-vm

環境
・macOS Catalina 10.15

### やったこと

```
$ git clone https://github.com/asdf-vm/asdf.git ~/.asdf --branch v0.7.4
$ git clone https://github.com/asdf-vm/asdf.git ~/.asdf
$ cd ~/.asdf
$ git checkout "$(git describe --abbrev=0 --tags)"


$ echo -e '\n. $HOME/.asdf/asdf.sh' >> ~/.bash_profile
$ echo -e '\n. $HOME/.asdf/completions/asdf.bash' >> ~/.bash_profile

$ asdf plugin-add erlang
$ asdf plugin-add elixir
```

### エラー

↓が通らない
```
$ asdf install erlang 22.1.4
```

以下がエラー
```
Extracting source code
mv: rename ./otp-OTP-22.1.4 to /Users/hoge/.asdf/plugins/erlang/kerl-home/builds/asdf_22.1.4/otp_src_22.1.4/otp-OTP-22.1.4: Directory not empty
Building Erlang/OTP 22.1.4 (asdf_22.1.4), please wait...
APPLICATIONS DISABLED (See: /Users/hoge/.asdf/plugins/erlang/kerl-home/builds/asdf_22.1.4/otp_build_22.1.4.log)
 * jinterface     : No Java compiler found

DOCUMENTATION INFORMATION (See: /Users/hoge/.asdf/plugins/erlang/kerl-home/builds/asdf_22.1.4/otp_build_22.1.4.log)
 * documentation  :
 *                  fop is missing.
 *                  Using fakefop to generate placeholder PDF files.

Build failed.
 ERLC	../ebin/hipe_consttab.beam
 ERLC	../ebin/hipe_gensym.beam
/bin/sh: line 1: 61251 Bus error: 10           erlc -W +debug_info -DUSE_ESOCK=true -Werror +warn_export_vars +warn_missing_spec +warn_untyped_record -o../ebin hipe_consttab.erl
/bin/sh: line 1: 61252 Bus error: 10           erlc -W +debug_info -DUSE_ESOCK=true -Werror +warn_export_vars +warn_missing_spec +warn_untyped_record -o../ebin hipe_gensym.erl
make[3]: *** [../ebin/hipe_gensym.beam] Error 138
make[3]: *** Waiting for unfinished jobs....
make[3]: *** [../ebin/hipe_consttab.beam] Error 138
make[2]: *** [opt] Error 2
make[1]: *** [opt] Error 2
make: *** [secondary_bootstrap_build] Error 2

Please see /Users/hoge/.asdf/plugins/erlang/kerl-home/builds/asdf_22.1.4/otp_build_22.1.4.log for full details.

```



コマンドプロンプト再起動

asdf install erlang 22.1.4 のエラーを解決したい

いつもお世話になっております．
elixirで複数のリストを引き取って，それらのn番目のインデックスの要素すべてを引き取って関数に渡す方法はありますでしょうか．例えば足し算をするなら，list1 = [1,3,5]とlist2 = [2,4,6]を足し算して[3,7,11]のようにする感じです
下に書いたのは間違いですがこうしたいというイメージです．

```Elixir
defmodule TwoLists do
  def sum(list1,list2) do
    Enum.map(list1,list2,fn(a,b)->a+b end) 
  end
end

iex> list1 = [1,3,5]
iex> list2 = [2,4,6]
iex> TwoLists.(list1,list2)
#-->Enum.map/3 is undefined error

```
Enum.at/2を使えばできなくもない気はするのですが，綺麗な書き方があれば教えていただきたいです．
よろしくお願いいたします．

elixir 複数のリストから同じインデックスの要素を引き取りたい

kerasでの処理を速くしようと思い、このサイト
https://qiita.com/piacere/items/c1af7b6ce472db83cff6
に従って行っているのですが、Pythonを呼び出す部分でエラーになりました。。。
③ElixirからPythonを呼び出すの部分で
iex -S mix
以上の様に入力すると、
Erlang/OTP 20 [erts-9.2.1] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:10] [hipe] [kernel-poll:false] [dtrace]

** (Mix) "mix" with no arguments must be executed in a directory with a mix.exs file

Usage: mix [task]

Examples:

    mix             - Invokes the default task (mix run) in a project
    mix new PATH    - Creates a new Elixir project at the given path
    mix help        - Lists all available tasks
    mix help TASK   - Prints documentation for a given task

The --help and --version flags can be given instead of a task for usage and versioning information.

この様なエラーが出ます。これはどういうことでしょうか？

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

追記です

回答ありがとうございます！！

確かにディレクトリの位置を間違えてはいた様です。pyex.exを作ったディレクトリではなくその上のlibやmix.exsがあるディレクトリで実行するべきだったという事ですね？そこで今回そこのディレクトリで行ったのですが、次の様なエラーが出ました・・・これはどういう事でしょうか？
Erlang/OTP 20 [erts-9.2.1] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:10] [hipe] [kernel-poll:false] [dtrace]

===> Uncaught error in rebar_core. Run with DEBUG=1 to see stacktrace or consult rebar3.crashdump
===> When submitting a bug report, please include the output of `rebar3 report "your command"`
** (Mix) Could not compile dependency :erlport, "/Users/tmsmac/.mix/rebar3 bare compile --paths "/Users/tmsmac/Google ドライブ/Elixir/pyex/_build/dev/lib/*/ebin"" command failed. You can recompile this dependency with "mix deps.compile erlport", update it with "mix deps.update erlport" or clean it with "mix deps.clean erlport"

------------------------------------------------
さらに追記です

早速の返信ありがとうございます！！
確かにGoogleドライブから出たところに作り直したらこのエラーがなくなりました。。。ディレクトリの名前なんかでエラーが出ることがあるんですね、、、これは日本語のディレクトリ内からは実行できないものなんでしょうか？結構不便ですね。
　また、さらにそこで実行したところ関数名を入力するところまで行ったのですが、ここで今度は以下の様なエラーが出ました。今度はどうすればいいのでしょうか？？

I'm Python...receive 3
received from python: 30
** (UndefinedFunctionError) function :python.stop/0 is undefined or private. Did you mean one of:

      * stop/1

    (erlport) :python.stop()

ーーーーーーーーーーーーーーーーーーーーーーーーーーー
追記です

今度はiex> Pyex.predict()で以下のようなエラーが出てしまいました。
** (ErlangError) Erlang error: {:python, :"exceptions.ImportError", 'No module named keras.models', [{"/Users/tmsmac/pyex/lib/py_predict_sin.py", 2, "<module>", "from keras.models import Sequential"}, {"/Users/tmsmac/pyex/_build/dev/lib/erlport/priv/python2/erlport/erlang.py", 226, "_incoming_call", "f = __import__(module, {}, {}, [objects[0]])"}, {"/Users/tmsmac/pyex/_build/dev/lib/erlport/priv/python2/erlport/erlang.py", 234, "_call_with_error_handler", "function(*args)"}]}
    (erlport) /Users/tmsmac/pyex/deps/erlport/src/erlport.erl:234: :erlport.call/3
    (pyex) lib/pyex.ex:27: Pyex.predict/0

keras単品では動いています。また、pyex.exのコンパイルも通っています。これも上記で修正していただいたようにファイルにpy_をつけたりstopの部分を変えたりしましたがそれでもダメだったので何か他の原因でしょうか？