常連

Pythonを使ってRedshiftのデータを加工、分析、表示するコードを書いています。
DBから取得したデータをpandasのDataFrameに入れていろいろと触る方針です。
PythonからRedshiftに接続する方法を調べていて、psycopg2を使って接続、SQLを実行する方法は確立したのですが、SQLAlchemyをかませてcreate_engineしてから接続する方法を紹介しているところが非常に多く、混乱しています。
psycopg2を使って直接接続すれば
```python
import pandas as pd
import psycopg2 as pg2

con= pg2.connect(host=server,database=db,port=dbport,user=username,password=userpass) as con:
df=pd.read_sql(query,con)
con.close()
```
のようなコードで済むところを、
```python
from sqlalchemy create_engine
import pandas as pd
import numpy as np
import psycopg2 as pg2

db_conf='postgresql+psycopg2://{user}:{passwd}@{host}:{port}/{dbname}'.format(
    user=username,passwd=userpass,host=server,port=dbport,dbname=db)
engine=create_engine(db_conf)
con=engine.connect()
data=pd.read_sql(q,engine)
con.close()
engine.dispose()
```
上記のように一度SQLAlchemyでエンジンを作ってデータを取る方法を紹介しているのですが、変数も増えるしコードも長くなるしいいことがないように思えてなりません。

わざわざコードを冗長にしているからには相応の理由があると思うのですが、pythonスクリプトからSQLAlchemyを一度はさんでSQLに接続するメリット、使わなかった場合のデメリットとはなんでしょうか？

SQLAlchemyなどのORMエンジンを使う意味

ER図を書くツールは何をつかっていますか？

私がつかったことがあるのは、次のものです。

設計時
  - [ERMaster](http://ermaster.sourceforge.net/index_ja.html)
  - Excel でちまちまと書いていく..
  
リバース・エンジニアリング時
  -  [erd](http://qiita.com/kanpou_/items/74eca1846101e6db3387)

その他：(研究中)
  - eclips の Sirius は ER 図作成につかえるものなのでしょか？

追加 (2015-11-13)
* そもそも、DBを使う場合, 設計時に ER 図を書きますか？
  (複数人で作業する場合を想定しています。)

ER図を書くツールは何をつかっていますか？

### 前提

GoでAPIを構築する際、ORMを使用せず生のSQLを書くとそれをStructにマッピングする必要があります。
sqlx (https://github.com/launchbadge/sqlx) のようなライブラリを使うことで、マッピングを簡易的に行うことも可能ですが、
One-to-ManyやMany-to-Manyとなると対応しておらず、クエリを複数回叩くか、取得したデータをループで回して手動でStructに入れていかなければなりません。

はじめはそんなわけがないと思い、いろいろ解決策を探したのですが例えばここ（https://stackoverflow.com/questions/54601529/efficiently-mapping-one-to-many-many-to-many-database-to-struct-in-golang） 
でも言及されてるように、泥臭い解決方しかないようです。


### 聞きたいこと

そこでお聞きしたいのは、どうやって解決するか？ということではなく、
本当にこんなことをみんなやってるのか？という素朴な疑問です。

ORMの話になったとき、巷ではよく「ORMを使うのはよくない」とか「本来ORMは必要ない」というような情報を目にします。
中でもGoは言語思想的にもしくは言語の特徴的にORMを使わない方が良いという風潮が強いように感じます。

でもORMを使わないことがこんなに面倒ならあまりに割に合ってない気がしてしまいます。

リンク先の例は非常にシンプルなものですが、実際の現場ではもっと複数のテーブルを組み合わせる必要があったり、もっと深くネストすることもありますよね、そう考えるととてもORM無しでやれるとは思えません。

世の中のバックエンドエンジニア方々、ORMなんて無くていいんだという強者な人たちは本当にこんなことをしているのでしょうか？
それとも私が知らないだけでもっと優れた解決法があるのでしょうか？

個人ではフルスタックで開発していますが、ORMを使用した経験(Node.js + prisma等)しかありません。
会社で働く際はフロントエンド中心でバックエンドを触る機会はあまりなく、あったとしてもORMを使用したプロジェクトにしか関わったことがないのでこちらで質問させていただきました。

先輩方のお話を聞かせていただけると幸いです。

GoでのORMを使用しないAPI開発。SQLの結果をstructにmapすることについて。

下記のように、prismaのschema.prismaにはDATABASE_URLの環境変数を読み込む設定がありますが、このDATABASE_URLの値を別のenvファイルから参照するようにしたい場合はどうしたらいいでしょうか？

デフォルトは、プロジェクト直下の.envを参照するようになっています。

環境はnest.jsを使用しています。
dot-envを使用して、prisma generateを行なってからnest.jsを起動しても、下記のエラーがでてしまいます。

■prisma/schema.prisma
```
datasource db {
  provider = "postgresql"
  url      = env("DATABASE_URL")
}
```

■.env
```
DATABASE_URL=${DRIVER}://$......
```

■error
```
Error: error: Error validating datasource `db`: the URL must start with the protocol `mysql://`.
```

prismaのdatabaseのurlの環境変数の参照を別のenvファイルにしたい

### 実現したいこと

ここに実現したいことを箇条書きで書いてください。
- [ ] Djangoアプリケーション上で対多の関係を持っている場合に、ArrayAggを使って特定の条件を満たしたレコード（多）だけ配列に要素として含めたい

### 前提

Djangoでアプリケーションを作っており、DBにPostgresを使っています。
対多の関係のモデルで対多のレコードをfilterで絞ったものをArrayAggで配列として取得したいです。
最終的な出力はvaluesで辞書形式でしたいです。

### 発生している問題・エラーメッセージ
ArrayAgg使用時のfilter（条件付与）の方法がわからない

### 該当のソースコード

```Python
Books.objects.annotate(authors_over_30=ArrayAgg("authors__name")).values(
                    "id",
                    "title",
                    "authors_over_30", # 年齢が30歳以上のauthorの配列をセットしたい
                )
```

### 補足情報（FW/ツールのバージョンなど）

- Django 4.1
- postgres 14


DjangoのArrayAggでのfilterをしたい

### 実現したいこと
goでjsonファイルを読み込んでDBに挿入したいです。
gormを用いてマイグレーションでテーブルを作成して作成したテーブルにjsonファイルの情報を格納したいです。
jsonのスライスをそのままDBに保存はできないと思ったので
jsonファイルを読み込んだ後、Movies.CastとMovies.Genresのスライス情報はstrings.Joinでstringに変換してDBに挿入すればよいのかなと考えています。

DBにmigrationを用いてDBにテーブルは作成済みです。



### 前提

Go初学者です。gin,gormを用いて映画検索のwebページを作成しています。

### 発生している問題・エラーメッセージ

```
unsupported data type: &[]
```

### 該当のソースコード

```main.go
func main () {
	// jsonファイルを読み込む
	jsonData, _ := os.ReadFile("./movies.json")

	// 構造体のスライスを作成
	var movies []models.Movie

	err := json.Unmarshal(jsonData, &movies)
	if err != nil {
		fmt.Println("error:", err)
	}

	for _, movie := range movies {
		strings.Join(movie.Cast, "/")
		fmt.Println(movie.Cast)
		initializers.DB.Create(&movie)

	}
}
```

```movies.json
[
  {
    "title": "Winter Day Dreams ft. Franny's Feet and Olivia",
    "year": 2010,
    "cast": [
      "Franny's Feet",
      "Phoebe McAuley",
      "George Buza",
      "Katherine Crimi",
      "Emily Gray"
    ],
    "genres": [
      "Animated",
      "Family"
    ],
    "href": "Franny%27s_Feet",
    "extract": "Franny's Feet is a Canadian animated children's television series created by writer Cathy Moss and fellow Susin Nielsen. The series was produced by Decode Entertainment, in association with Channel Five Broadcasting Limited. The series follows the adventures of Frances \"Franny\" Fantootsie as she tries on a new shoe and travels to different countries.",
    "thumbnail": "https://upload.wikimedia.org/wikipedia/commons/2/23/Frannys_Feet_Logo.png",
    "thumbnail_width": 200,
    "thumbnail_height": 108
  },
  {
    "title": "Daybreakers",
    "year": 2010,
    "cast": [
      "Ethan Hawke",
      "Willem Dafoe",
      "Sam Neill",
      "Claudia Karvan",
      "Michael Dorman",
      "Isabel Lucas",
      "Vince Colosimo",
      "Jay Laga'aia"
    ],
    "genres": [
      "Action",
      "Horror",
      "Science Fiction"
    ],
    "href": "Daybreakers",
    "extract": "Daybreakers is a 2009 science-fiction action horror film written and directed by Michael and Peter Spierig. The film takes place in a futuristic world overrun by vampires, and centers around a vampiric corporation which sets out to capture and farm the remaining humans while researching a substitute for human blood. Ethan Hawke plays vampire hematologist Edward Dalton, whose work is interrupted by human survivors led by former vampire \"Elvis\", who has a cure that can save the human species.",
    "thumbnail": "https://upload.wikimedia.org/wikipedia/en/b/b4/Daybreakers_ver2.jpg",
    "thumbnail_width": 259,
    "thumbnail_height": 383
  }
]

```

```movies.go
type Movie struct {
	gorm.Model
	Title           string
	Year            int16
	Cast            []string //スライスで定義したいができなかった
	Genres          []string //スライスで定義したいができなかった
	Href            string
	Extract         string
	Thumbnail       string
	ThumbnailWidth  int16
	ThumbnailHeight int16
}
```
### 試したこと

実行するとmain.go 16行目で
unsupported data type: &[]が発生
gormではスライス型は受け付けていないので、model.MovieのCastとGenresを普通のstringに変更してと思ったのですが
[]string→string
これもjsonの中身をModel.Movieの方にあてはめられないので方法が見つかりませんでした。

jsonのスライスをそのままDBに入れる方法や私が行ったsliceからstringに変換してDBに挿入する方法で修正箇所があれば教えていただきたいです。よろしくお願いいたします。


### 補足情報（FW/ツールのバージョンなど）

go v 1.20
windows


Goでjsonファイルを読み込んでDBに挿入、スライスの情報も含めて挿入できない

現在Java（SpringBoot）でJPA（Hibernate）を利用してDBサーバーと通信するWEBシステムを作成しております。
JPAで取得したデータはEntityクラスを用意し、そこにマッピングして受け取るようにしています。

そこで問題があるのですが、データ量が少なければ問題ないのですがマッピングする量が増えた時、レスポンスが著しく遅くなることが分かりました。
調べたところwebサーバーとDBサーバーの通信時間、DBサーバーのレスポンス時間は問題ありません。

JavaでEntityクラスにマッピングする際時間がかかることが分かりました。
今までNodeなどでは発生しなかった問題なので、解決策が見つからず途方にくれています。
とりあえず現在はデータ量に制限を設けることで、問題を先送りしています。
具体的には検索時に、レスポンスの件数が100件以上であればエラーして絞込の条件を増やすように促すなどです。

entityクラスのフィールドを制限し、マッピングする項目制限をするなどもあるのでしょうが、現状使わない項目でも随時利用していくことになるでしょうし（本当に使わない項目であればそもそもDBのテーブル構成から検討する必要がありますが）、出来ればマッピングクラスはDBの全項目をフォローしたいところです。

サーバースペックの問題も勿論あると思いますが、多少良いサーバーを用意して実験してもさほど結果は変わりませんでした。
具体的には1000件の項目の多いテーブルデータを取得してブラウザに表示するまでに15秒かかりました。
Javaでクラスにマッピングするとなると、こんなものなのでしょうか。

何か良い解決方法があれば、ご教授願います。

[Java]JPAのマッピングに時間がかかりすぎる件について

### 質問
現在、バックエンドエンジニアへの転職活動中でポートフォリオを作成しております！
先日現場のエンジニアの方から「SQL文を使えないのはダメだ」と言われてしまったのですが、PFレベルのアプリケーション開発ではO/Rマッパーを使用すればSQL文を深くは理解しないままそれなりのDB操作が出来てしまうためあまりピンときませんでした。(一応生成されるSQL文は理解できます！)

そこで現場でORMを使用している方に質問なのですが、どのような場面でSQL文を理解、使用できないと困るのが教えていただきたく質問させていただきました。
私の予想では
・FW内ではなく直接DBを触る機会が頻繁に発生するため
・実際のアプリケーションではORMの簡単なメソッド では絞り込むことができない複雑なDB処理がしばしば発生するため
なのかな、と考えております。
宜しくお願いいたします。