常連

インフルエンサー

拍手喝采

情報収集家

自己紹介

### 概要
非常に件数の多いデータをデータベースにINSERTする必要がありまして、
処理に膨大な時間がかかりそうなので、途中失敗を避けるためありえそうなリスクをあらかじめ知っておきたいと考えています。
もし何か知見をお持ちの方がいらっしゃいましたら、アドバイスいただけると助かります。

### 要件
使用するハードとソフトの要件は以下の通りです。
PC：amazon RDSのdb.m7g.large（AWS Graviton3 プロセッサ、メモリ8GB、ストレージ1TB）
OS：Amazon Linux2
データベース：MariaDB10.6

登録するデータ：１レコード当たり1kB程度のデータを約5億(500M)件分
付与するインデックス：auto incrementするIDと、別に登録するIDの　計２つ

### 具体的に質問したいこと
- そもそもPCのスペックは足りそうでしょうか？
まず、データの合計サイズは1kB x 500M件 なので、少なくとも500GBのストレージは必要になるはずです（インデックスも含めるともっとかも）。
一方、メモリの方は実際どの程度必要かよくわかりません。（処理の途中でメモリ上限を超えたりすると困ります。）
他にスペックで問題のありそうなところがあれば教えてほしいです。

　
　
- ありがちな設定ミスがあれば教えてください。
例えば、データベースの隠れた上限閾値があるとか、何か特別な設定が必要とか、
ビッグデータをデータベースに登録するにあたり、何か気を付ける点があれば教えてほしいです。


【MariaDB】約5億レコードを登録できるのでしょうか？

### 問題点
pythonでデータベースへの接続し、for文でsqlを実行した際にcursorの使い方としてどちらが良いか分かりませんでした。
毎回cursorを開いて閉じた方がいいのか、cursorを上書きしていく方がいいのか、分からないため、よろしければアドバイスを頂けないでしょうか。
コード例を下に示します。

```python
conn=psycopg2.connect(connect)
def execute_1(sql):
    with conn:
        with conn.cursor() as cur:
            cur.execute(sql)

def execute_2(sql):
    with conn:
       cur = conn.cursor()
        cur.execute(sql)

for i in range(1000000):
    sql=f"update table set a = {i};"
    execute_1(sql)
    execute_2(sql)

conn.close()
```

アドバイスを頂けると嬉しいです


pythonのpsycopg2においてfor文を用いたcursorの使い方としてどちらがよいか？

### 前提
python初心者です
flaskでMubert-Text-to-musicを利用した自動作曲アプリを作っています。
gptindex.htmlからの入力で、ローカルのフォルダ（c:user/.../flaskbook)に楽曲ファイルが作成されている状況までは実装できております

### 実現したいこと
ブラウザ上でローカルの楽曲ファイル(ex c:user/.../flaskbook/202212071212.mp3)を再生できるようにしたい

### 発生している問題・エラーメッセージ

特にrender_templateを行っても画面に変化がない

### 該当のソースコード

```python
views.py

from flask import Blueprint, render_template, request, session
from flask_wtf.csrf import CSRFError

from apps.haiku.formgpt import UploadgpthaikuForm
from apps.haiku.mubert import mubert

ha = Blueprint("haiku", __name__, template_folder="templates")


@ha.route("/mubert", methods=["GET", "POST"])
def gptmu():
    form = UploadgpthaikuForm()
    if request.method == "GET":
        return render_template("haiku/gptindex.html", form=form)
    elif request.method == "POST" and form.validate:  # htmlからの入力
        session["posthaiku"] = form.haiku.data  # htmlからの入力
        print(session["posthaiku"])
        posthaiku = str(session["posthaiku"])
        filename = mubert(posthaiku) #作曲させた上で、その際のファイル名を取得
        return render_template("haiku/gptindex.html", name=filename, form=form)

    if __name__ == "__main__":
        ha.debug = True
        ha.run(host="0.0.0.0", port=int("5000"), debug=True)

@ha.errorhandler(CSRFError)
def handle_csrf_error(e):
    return render_template("haiku/csrf_error.html", reason=e.description), 400
```

```gptindex.html
{% extends "haiku/base.html" %}
{% block content %}
<div class="alert alert-primary">GPT-3で俳句のBGMを作成してみませんか？</div>
{% from "haiku/formhelper.html" import render_field %}

<body>
    <form action="/mubert" method="POST">
        {{ form.csrf_token }}
        {{render_field(form.haiku)}}
        {{form.submit()}}
    </form>
    <audio controls src="../{{name}}.mp3" controls></audio>
</body>
{%endblock %}
```

```python
mubert.py

import datetime
import json
import time

import httpx
import numpy as np
import requests
from sentence_transformers import SentenceTransformer

# haiku = str("winnie the pooh cooking methamphetamine")


def mubert(haiku):
    EMAIL_ADDRESS = "formail7300@gmail.com"
    print(haiku)
    PROMPT = f"{haiku}"

    minilm = SentenceTransformer("all-MiniLM-L6-v2")

    mubert_tags_string = "tribal,action,kids,neo-classic,run 130,pumped,jazz / funk,ethnic,dubtechno,reggae,acid jazz,liquidfunk,funk,witch house,tech house,underground,artists,mystical,disco,sensorium,r&b,agender,psychedelic trance / psytrance,peaceful,run 140,piano,run 160,setting,meditation,christmas,ambient,horror,cinematic,electro house,idm,bass,minimal,underscore,drums,glitchy,beautiful,technology,tribal house,country pop,jazz & funk,documentary,space,classical,valentines,chillstep,experimental,trap,new jack swing,drama,post-rock,tense,corporate,neutral,happy,analog,funky,spiritual,sberzvuk special,chill hop,dramatic,catchy,holidays,fitness 90,optimistic,orchestra,acid techno,energizing,romantic,minimal house,breaks,hyper pop,warm up,dreamy,dark,urban,microfunk,dub,nu disco,vogue,keys,hardcore,aggressive,indie,electro funk,beauty,relaxing,trance,pop,hiphop,soft,acoustic,chillrave / ethno-house,deep techno,angry,dance,fun,dubstep,tropical,latin pop,heroic,world music,inspirational,uplifting,atmosphere,art,epic,advertising,chillout,scary,spooky,slow ballad,saxophone,summer,erotic,jazzy,energy 100,kara mar,xmas,atmospheric,indie pop,hip-hop,yoga,reggaeton,lounge,travel,running,folk,chillrave & ethno-house,detective,darkambient,chill,fantasy,minimal techno,special,night,tropical house,downtempo,lullaby,meditative,upbeat,glitch hop,fitness,neurofunk,sexual,indie rock,future pop,jazz,cyberpunk,melancholic,happy hardcore,family / kids,synths,electric guitar,comedy,psychedelic trance & psytrance,edm,psychedelic rock,calm,zen,bells,podcast,melodic house,ethnic percussion,nature,heavy,bassline,indie dance,techno,drumnbass,synth pop,vaporwave,sad,8-bit,chillgressive,deep,orchestral,futuristic,hardtechno,nostalgic,big room,sci-fi,tutorial,joyful,pads,minimal 170,drill,ethnic 108,amusing,sleepy ambient,psychill,italo disco,lofi,house,acoustic guitar,bassline house,rock,k-pop,synthwave,deep house,electronica,gabber,nightlife,sport & fitness,road trip,celebration,electro,disco house,electronic"
    mubert_tags = np.array(mubert_tags_string.split(","))
    mubert_tags_embeddings = minilm.encode(mubert_tags)

    def get_track_by_tags(tags, pat, duration, maxit=20, autoplay=False, loop=False):
        if loop:
            mode = "loop"
        else:
            mode = "track"
        r = httpx.post(
            "https://api-b2b.mubert.com/v2/RecordTrackTTM",
            json={
                "method": "RecordTrackTTM",
                "params": {
                    "pat": pat,
                    "duration": duration,
                    "tags": tags,
                    "mode": mode,
                },
            },
        )

        rdata = json.loads(r.text)
        assert rdata["status"] == 1, rdata["error"]["text"]
        trackurl = rdata["data"]["tasks"][0]["download_link"]

        print("Generating track ", end="")
        for i in range(maxit):
            r = httpx.get(trackurl)
            if r.status_code == 200:
                # display(Audio(trackurl, autoplay=autoplay))
                save_file(trackurl)
                break
            time.sleep(1)
            print(".", end="")

    def find_similar(em, embeddings, method="cosine"):
        scores = []
        for ref in embeddings:
            if method == "cosine":
                scores.append(
                    1 - np.dot(ref, em) / (np.linalg.norm(ref) * np.linalg.norm(em))
                )
            if method == "norm":
                scores.append(np.linalg.norm(ref - em))
        return np.array(scores), np.argsort(scores)

    def get_tags_for_prompts(prompts, top_n=3, debug=False):
        prompts_embeddings = minilm.encode(prompts)
        ret = []
        for i, pe in enumerate(prompts_embeddings):
            scores, idxs = find_similar(pe, mubert_tags_embeddings)
            top_tags = mubert_tags[idxs[:top_n]]
            top_prob = 1 - scores[idxs[:top_n]]
            if debug:
                print(
                    f"Prompt: {prompts[i]}\nTags: {', '.join(top_tags)}\nScores: {top_prob}\n\n\n"
                )
            ret.append((prompts[i], list(top_tags)))
        return ret

    # @markdown **Get personal access token in Mubert and define API methods**
    email = EMAIL_ADDRESS  # @param {type:"string"}

    r = httpx.post(
        "https://api-b2b.mubert.com/v2/GetServiceAccess",
        json={
            "method": "GetServiceAccess",
            "params": {
                "email": email,
                "license": "ttmmubertlicense#f0acYBenRcfeFpNT4wpYGaTQIyDI4mJGv5MfIhBFz97NXDwDNFHmMRsBSzmGsJwbTpP1A6i07AXcIeAHo5",
                "token": "4951f6428e83172a4f39de05d5b3ab10d58560b8",
                "mode": "loop",
            },
        },
    )

    rdata = json.loads(r.text)
    assert rdata["status"] == 1, "probably incorrect e-mail"
    pat = rdata["data"]["pat"]
    print(f"Got token: {pat}")

    # @title **Generate some music 🎵**

    prompt = PROMPT  # @param {type:"string"}
    duration = 30  # @param {type:"number"}
    loop = False  # @param {type:"boolean"}

    def generate_track_by_prompt(prompt, duration, loop=False):
        _, tags = get_tags_for_prompts(
            [
                prompt,
            ]
        )[0]
        try:
            get_track_by_tags(tags, pat, duration, autoplay=True, loop=loop)
        except Exception as e:
            print(str(e))
        print("\n")

    def save_file(url):
        file_name = get_file_name() + ".mp3"
        url_data = requests.get(url).content

        with open(file_name, mode="wb") as f:
            f.write(url_data)

    def get_file_name():
        t_delta = datetime.timedelta(hours=9)
        JST = datetime.timezone(t_delta, "JST")
        now = datetime.datetime.now(JST)
        global filename
        d = now.strftime("%Y%m%d%H%M%S")
        filename = d
        return d

    generate_track_by_prompt(prompt, duration, loop) #楽曲生成　

    print(filename)

    return filename
```
```python 
formgpt.py

from flask_wtf.form import FlaskForm
from wtforms import TextAreaField
from wtforms.fields.simple import SubmitField
from wtforms.validators import Length


class UploadgpthaikuForm(FlaskForm):
    haiku = TextAreaField(
        "俳句を入力してください:", validators=[Length(min=8, max=60, message="俳句の長さにしてください")]
    ) #winnie the pooh cooking methamphetamine のように入力します
    submit = SubmitField("アップロード")
```


### 試したこと
https://self-development.info/%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%81%8B%E3%82%89%E9%9F%B3%E6%A5%BD%E3%82%92%E4%BD%9C%E6%88%90%E3%81%99%E3%82%8Bmubert-text-to-music%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB/

こちらの記事を参考に、自動作曲アプリを作っています。

chatGPTに簡易的な質問を繰り返しても特にわからなかった



ブラウザ上にローカルフォルダのmp3ファイルを載せたい

単純な質問になってしまうのですが調べてもすっきりしなかったので教えていただきたいです。
Firebaseのプラン、料金形態については分かっていますが紐づく先はアカウントなのかプロジェクトなのか分かりませんでした。
1つのアカウントにつき5~10個ほどプロジェクトの作成ができると記事があったのでアカウントに紐づくよな気もしますがコンソール画面を見るとプロジェクトごとにプランを変更できそうでした。

知りたいこととしては以下のどちらに該当するか、もしくは他の仕様であれば教えていただきたいです。
・アカウントに対してプランが設定でき料金もアカウント内のプロジェクトの合計で計算される
・プロジェクトごとにプランが設定でき料金もプロジェクトごとに計算される




Firebase プランはアカウント単位かプロジェクト単位か

### 前提

A社からB社へAWSのアカウントの譲渡を考えています。
A社のアカウントにはEC2,RDS,S3,ALB,Route53などのサービスが紐付いている状態です。
B社側はこれから新規でAWSのアカウントを作成します。

### 実現したいこと

現在稼働しているサービスを停止せずにA社からB社にAWSのアカウントを譲渡したいです。
AWSの譲渡をする上で稼働しているサービスが停止してしまうなどは考えられますでしょうか？
ドメインなどは別途移管が必要など...
またアカウントを譲渡する上で他に考えられるリスクはありますでしょうか？

アカウント譲渡の経験がある方や知見のある方がいらっしゃいましたらご教授いただけると助かります。

よろしお願い致します。

AWSのアカウント譲渡におけるリスクについて

現在、WEBアプリを作成しており、ある程度完成に近づいたので公開したいと思いました。ですが、Dockerfileをバックエンドとフロントエンドで分けていたこともあり、どのようにデプロイすればいいかわかりません。また、DjangoとReactを使用しているため２つを同時にできるのかどうかも初めtのデプロイなのでわかりません。
データベースはPostgreSQLです

```
Project
  --- backend dir
       --- config dir
       --- rest_api dir
       --- manage.py
       --- requirement.txt
  --- frontend dir
        --- App.tsxなど...
  --- docker-compose.yml
  --- DockerfileBack
  --- DockerfileFront
```

Dockerfileが複数のデプロイ

Pythonで複数の関数を物理的に(本当に)『同時に』実行させたいですけれども、
可能であれば、もっとも一般的なやり方を教えてください。


よろしくお願いいたします。

Pythonで複数の関数を『同時に』実行させたい

AWSには各種のマネージドサービスがありますが、それぞれのサービス自体がSSL接続を提供していて、サービス間でもSSL通信できるようになっている、という例もよくあります。

そして、AWSのRDBMSサービスであるRDSにもSSL接続が用意されている…のはいいのですが、なぜかRoot CAが独自のものになっています（[公式の説明](https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/UsingWithRDS.SSL.html)）。

AWS自体はACMでHTTPS向けの証明書も出せるように、CAとしての認可も取れていますし、ElastiCacheなど内部向けの他のマネージドサービスではOS標準のルート証明書で処理ができるような証明書が入っています。

なぜRDSだけ、著名なルート証明書にチェーンがつながる形を取らず、別にルート証明書を用意しないといけない形となっているのでしょうか？

RDSはなぜ独自のSSL認証局を使っているのでしょうか？

PHPを始めたばかりの初歩的な質問で大変恐縮です。
書き方がよくわからないので教えてください。

例えば、HTMLからJavaScriptを呼び出す場合、JavaScriptのファイルの中に関数のまとまりを複数記述して、呼び出す関数を一つのファイルにまとめることができると思いますが、PHPではそのようなことはできますでしょうか。

A.PHPをメインファイルとして、そこからさまざまな処理をする関数を呼び出したいとします。
B.PHPにA.PHPで処理をしたい関数のまとまりを複数書いて、A.PHPの処理については、B.PHPを呼び出すだけで済むようにしたいです。

うまく記述ができず、処理ごとに呼び出すファイルを別で作らないといけないのでしょうか。
A.PHPの処理1の場合は、B -1.PHPを呼び出し、A.PHPの処理2の場合は、B -2.PHPを呼び出す、、
というような感じでしか対応ができないでしょうか。

可能なら、A.PHPから呼び出す処理ファイルは一つにまとめることができればいいなと思っています。

良い方法がありましたら教えてください。
よろしくお願いいたします。


＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
追記：
例えば、メインのPHPファイル（A.php）で、
コード：<input type="text" name="cd" id="cd"  onChange="CodetoHin(this.value)">
製品名：<input type="text" name="hin" id="hin"  onChange="HintoLot(this.value)">
ロット：<select name="lot" id="lot" onchange="Zaiko(this.value)"></select>
在庫数：<input type="text" name="su" id="su">
のテキストボックスやセレクトボックスがあるとします。

コードを入力したら、製品名を出す、製品名を出したら、製品名で登録しているロット（複数）を出す、ロットを選択したらその在庫を出すという機能を作るとしまして、
処理をしたいことは3種類あるのですが、呼び出す対象は、B.phpのファイルだけにして、B.phpの中で指定した関数だけ処理をする、としたいです。
B.phpのこの処理にだけ飛ばして、値を戻して、また別の処理をするときは、B.phpの別の該当部分にだけ飛ばして、、というようなことはできますでしょうか。

処理のたびに別ファイルを作ることはしたくなく、メインページで色々処理をしたいことを別の一ファイルにまとめたいという感じです。
説明が下手で申し訳ございません。
わかりづらいところなどございましたらご指摘ください。


それにしても、こちらのサイトは初めて利用させていただいたのですが、低評価をつけるという機能があるんですね。ちょっとびっくりしました。。


＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
追記1：

すみません、書き方が良くなかったです。 

JavaScriptからAjax接続で、DB接続するなどの処理をPHPで書きたいのですが、それぞれのJavascriptの処理から呼び出す先のPHPのファイルを一つにしたいです。  

onChange="CodetoHin(this.value)" 
onChange="HintoLot(this.value)" 
onchange="Zaiko(this.value)" 

それぞれから、JavaScript→PHP を呼び出して、DBからデータを持ってきたり、計算をするという感じになると思いますが、このPHPファイルを一つにしたくて、そのためのPHP上の書き方はどうしたらいいのかなと思いました。  
Javascriptの呼び出し一つに対して、PHPファイルを一つ作るのではなくて、Javascriptの複数呼び出しに対してPHPファイルを一つにしたいです。 

AjaxでPHPに処理タイトルのデータ（この処理のタイトル名）を送り、PHP上でまずそのタイトルを読み込んで、タイトル別に、IFで分岐してPHP上の処理を分ける、というようなことをしてみたのですが、うまくいかず、
そもそもこのような考え方とか、可能なことを聞いているのかもわからない状態で質問させていただいております。  

このような説明でお分かりになりますでしょうか。

PHPで呼び出し関数の書き方、ファイルの作り方について

cURLで単純にデータを取得するものです
file_get_contentsでは正常に取得できますが
cURLで走らせるとなぜかhttps://www.youtube.com/supported_browsers?next_url= にリダイレクトされてしまい、そのデータを取ってしまいます
原因がわかる方教えていただけないでしょうか

```ここに言語を入力
<?php
// 新しい cURL リソースを作成します
$ch = curl_init();

// URL その他のオプションを適切に設定します
$options = array(CURLOPT_URL            => 'https://www.youtube.com/watch?v=j8ou8FXGfA4',
CURLOPT_HEADER         => false,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_REFERER => 'https://www.youtube.com/watch?v=j8ou8FXGfA4',
CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100',
CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_TIMEOUT        => 3
                );

curl_setopt_array($ch, $options);

// URL の内容を取得し、ブラウザに渡します
echo curl_exec($ch);

// cURL リソースを閉じ、システムリソースを開放します
curl_close($ch);
?>
```

【未解決】PHP cURLでYouTubeが取得できない【プロの分析者求む】

なぜcomposerのファイルはusr/local/binに置くのでしょうか？

composerのパスに関して

### 実現したいこと
PythonのOpencvを用いて、画像としてヒートマップ(色相のグラデーション)を作成したいです。例としては、以下のような画像を保存できることを目指しています。

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-03-24/b507dead-4c16-49a0-add0-0e1f1e6e8718.jpeg)

### 自分のプログラム
以下が自分のプログラムです。明度と彩度は固定し、色相だけ変化させています。また、opencvでは画像をBGRで扱っているので、保存する前にBGRに変換させています。
```python
#ヒートマップ
h = 200 #縦
w = 200 #横

heatmap = np.zeros((3,h,w),dtype=float)
#彩度
heatmap[1] = 255
#明度
heatmap[2] = 255
temp = 0
#色相
for j in range(0,w):
  if w != 0:
    temp += (180 / w) 
  for i in range(0,h):
    heatmap[0][i][j] = temp

#[3,h,w]->[h,w,3] numpyとopencvで3次元の捉え方が違うため
heatmap = heatmap.transpose((1,2,0))
#HSV -> BGR
heatmap = cv2.cvtColor(heatmap.astype(np.float32),cv2.COLOR_HSV2BGR)
cv2.imwrite(path+"/HSV.jpeg",heatmap)

```
### 作成した画像
上記のプログラムを実行すると以下のような画像を得ることができました。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-03-24/170fc554-3ae9-4cc8-b031-4f97d53479f6.jpeg)

### 質問
上記の画像のようになってしまいました。グラデーションのように色相の変化を表したいのですが、失敗しました。なぜでしょうか。よろしくお願いたします。
また、使うライブラリはOpencv、numpyのみです。

Opencvを用いて、色相のグラデーションを作成する方法

AWS ELBの認証機能(OIDC)を使い、Google認証をするようにしました。

認証自体は問題なくできたのですが、認証後のEC2にて、HTTP_X_AMZN_OIDC_DATAヘッダからログインしているユーザのメールアドレスを取得できずに困っています。

マニュアルなどを参考にやってみたものの、
- sub
- picture
- exp
- iss
の4つの値しか取得できません。

何かGoogle側でemailを渡すような設定が必要なのでしょうか？

お分かりの方がいましたら、アドバイスのほどよろしくお願い致します。

AWS ELBにてGoogle認証後のEC2で、メールアドレスが取得できない

AWSにec2インスタンスを起動しており、
そこからGmailのメール送受信を行いたいです。

現在サンダーバードをインストールし、
Gmailの設定をしていますが、
アカウント設定の検索をずっとしており、
Gmail設定が完了しません。

AWSにec2インスタンスでは
メーラーを利用することは難しいのでしょうか？

本来やりたいこと：
asp.net のサービスをIISに設置しており、そこからGmailのアドレスからメールを送信したい
上記にて処理が止まってしまうため、
まずはメーラーからの送受信を試したいです。




AWS ec2にてGmail送受信のためメーラー設定をしたいです

### 前提・実現したいこと
まずはこのページを見てくださりありがとうございます。
ページの説明が長く、申し訳ございません。
アドバイス、助言くださると大変助かります。


そして本題ですが、やりたいことと致しましては、app.pyがherokuで動作しているため、サーバ内にある、test.py、test.txtの数値を参照できないという問題があり、herokuを使わずにサーバ上でプログラムを常に動作させたいということです。

app.pyはLINE Messaging APIのサンプルプログラムをいただき、少し編集したものです

サーバについて無知なもので数時間悩みましたが解決策がうまくいかず、質問させていただいております。

LINEのWebhook URL は現在herokuのものを登録しています。ここを変えなければいけないことはわかっているのですが、何に変えればいいのか、その後の流れがいまいち掴めず、困っています。


調べたところ自前のサーバを使う際にはPHPを記述しなければならないのでしょうか？
### 該当のソースコード

```python
#app.pyのコード
from flask import Flask, request, abort

from linebot import (
    LineBotApi, WebhookHandler
)
from linebot.exceptions import (
    InvalidSignatureError
)
from linebot.models import (
    MessageEvent, TextMessage, TextSendMessage,ImageSendMessage,
)
import datetime
import test #test.pyをインポート



app = Flask(__name__)


line_bot_api = LineBotApi('')
handler = WebhookHandler('')


@app.route("/")
def test():
    return "ok"


@app.route("/callback", methods=['POST'])
def callback():
    # get X-Line-Signature header value
    signature = request.headers['X-Line-Signature']

    # get request body as text
    body = request.get_data(as_text=True)
    app.logger.info("Request body: " + body)

    # handle webhook body
    try:
        handler.handle(body, signature)
    except InvalidSignatureError:
        print("Invalid signature. Please check your channel access token/channel secret.")
        abort(400)

    return 'OK'


@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
    dt_now = datetime.datetime.now()
    jst_hour=dt_now.hour+9

    
    
    
                          
 
    else:
        
        if event.message.text=="A":
            pec=test.main()
            line_bot_api.reply_message(
                event.reply_token,
                TextSendMessage(text=pec))#test.pyの値を参照できていないため、ここで既読無視状態になる

        elif event.message.text=="B":
            line_bot_api.reply_message(
                event.reply_token,
                TextSendMessage(text=f"現在のBの混雑度は??%です。"))

        elif event.message.text=="C":
            line_bot_api.reply_message(
                event.reply_token,
                TextSendMessage(text=f"現在のCの混雑度は??%です。"))       
        else:
            line_bot_api.reply_message(
                event.reply_token,
                TextSendMessage(text=f"入力が間違っています。もう一度入力してください"))
                


if __name__ == "__main__":
    app.run()

```

```

```text
[15.75, 16.50, 18.00, 18.00, 19.00, 21.50, 23.75, 25.50, 
 16.00, 16.25, 17.25, 18.00, 19.50, 22.75, 23.25, 23.75, 
 15.00, 16.00, 16.50, 18.00, 19.50, 22.50, 22.50, 22.25, 
 15.00, 15.25, 15.50, 16.50, 18.50, 21.00, 20.00, 19.00, 
 15.00, 15.50, 15.25, 15.50, 15.75, 15.25, 16.00, 15.75, 
 15.75, 14.75, 15.50, 16.00, 15.50, 16.25, 15.50, 16.00, 
 14.50, 14.75, 15.25, 15.00, 15.50, 15.75, 15.75, 15.50, 
 14.25, 14.00, 15.00, 14.50, 14.75, 14.25, 14.25, 14.75, 
 ]
 
[16.25, 16.75, 17.75, 18.25, 19.25, 21.75, 23.75, 26.00, 
 15.50, 15.75, 17.00, 18.00, 19.25, 22.25, 23.25, 24.00, 
 15.50, 15.50, 16.50, 18.00, 19.25, 22.50, 22.50, 22.75, 
 15.00, 15.00, 16.00, 16.75, 18.50, 21.25, 20.25, 18.25, 
 15.50, 15.25, 16.00, 15.50, 16.00, 15.25, 15.50, 15.75, 
 14.75, 15.00, 15.50, 15.50, 15.75, 16.25, 15.50, 16.00, 
 15.25, 15.25, 15.25, 16.00, 15.75, 15.50, 15.25, 15.00, 
 14.75, 13.75, 14.50, 15.25, 15.00, 14.00, 14.25, 14.25, 
 ]

 [16.50, 16.75, 17.75, 18.50, 18.75, 21.50, 23.75, 25.75, 
 15.50, 16.00, 16.75, 18.25, 19.50, 22.75, 23.25, 23.50, 
 15.25, 15.25, 16.25, 17.75, 19.50, 22.25, 22.75, 22.00, 
 14.75, 14.75, 15.25, 16.25, 18.50, 21.25, 19.75, 18.00, 
 15.25, 15.25, 15.25, 15.50, 15.75, 15.00, 15.75, 16.00, 
 15.25, 15.00, 15.75, 15.50, 15.50, 16.50, 14.75, 15.50, 
 15.00, 15.50, 15.50, 15.25, 15.75, 15.25, 15.50, 15.25, 
 14.75, 13.75, 15.50, 15.00, 15.00, 14.00, 14.75, 13.75, 
 ]
 
[15.75, 16.00, 17.75, 18.00, 19.50, 21.50, 23.50, 25.50, 
  16.00, 15.75, 17.00, 17.75, 19.25, 22.50, 23.50, 23.25, 
  15.25, 15.50, 16.50, 17.25, 19.25, 22.50, 22.25, 22.00, 
  14.75, 15.25, 15.75, 16.75, 18.75, 20.50, 19.75, 18.25, 
  15.25, 15.25, 15.25, 15.50, 15.75, 15.25, 15.00, 15.50, 
  15.25, 14.75, 15.25, 15.25, 15.25, 16.00, 15.50, 15.50, 
  15.00, 14.50, 15.00, 15.00, 15.75, 15.25, 15.50, 15.25, 
  14.50, 14.00, 15.25, 14.25, 15.00, 13.75, 14.25, 14.25, 
  ]

 [16.75, 16.50, 17.50, 17.75, 19.00, 21.50, 23.75, 25.75, 
  16.00, 15.25, 16.50, 17.75, 19.75, 22.75, 23.25, 23.75, 
  15.25, 15.75, 16.50, 17.50, 19.25, 22.25, 22.50, 22.00, 
  15.00, 15.50, 15.50, 16.75, 18.50, 21.00, 20.00, 18.25, 
  15.00, 15.25, 15.25, 15.50, 15.50, 15.00, 15.75, 15.75, 
  15.25, 14.50, 15.75, 16.00, 15.50, 15.75, 15.50, 15.50, 
  15.25, 15.25, 15.00, 14.50, 15.75, 14.75, 15.50, 14.75, 
  14.00, 14.00, 15.00, 14.50, 15.00, 13.75, 13.75, 13.75, 
 ]


```

pythonのプログラムをサーバ上で常時起動させたい

単振り子が一周したときにアニメーションの処理を終えたいです．どなたかご教示の程，よろしくお願い致します．
```
clear all;
close all;
clc;

%% 各変数（単振り子）
b = 0.05;                                      % 減衰係数
g = 9.81;                                      % 重力加速度
l = 1.0;                                       % 振り子の長さ 
m = 1.0;                                       % 質量
Trq = 0;                                       % 乱数にしてaction
theta_0 = [0; 0];                              % 初期状態 
t_span = linspace(0,11,1500);                  % ステップ数sim size

%% 運動方程式を解く
[t, result] = ode45(@(t,theta) ode_func(t, theta, b, g,l,m,Trq),t_span,theta_0);
% result(i ,1)= theta, result(i,2)=w
theta =result(:,1);                           % 角度
w =  result(:,2);                             % 角速度
rad_theta = result(:,1)*180/pi;               % ラジアンに変換






%% 強化学習
RewardFunc = @(theta,w)(-(abs(theta)).^2 + -0.25*(abs(w)).^2);   % 報酬関数
learnRate = 0.99;                                                % 学習率
epsilon = 0.5;                                                   % ε
epsilonDecay = 0.98;                                          % εの減衰係数
discount = 0.9;                                               % 時間割引率　　　　
successRate = 1;                                              % 成功率
winBounds = 100;                        % 単振り子が目的の状態になった時の報酬 
startPt = [0; 0];                       % 振り子の初期位置，垂直下から開始
maxEpi = 2000;                          % 最大試行回数                                  
maxit = 15000;                          % 1試行の反復回数
substeps = 2;                           % 物理的なステップ数
dt = 0.05;                              % シミュレーション時間

%% トルク条件(Action)
Trq = randi([0 20],1,1);            % 0~5の整数を1行１列生成 トルクの値
actions = [-Trq, Trq];              % 与えるトルクの向き，右，左または0


%% 観測する状態 状態の更新
states = zeros(length(theta)*length(w),2);          % 状態 thetaとw
index = 1; 
for j=1:length(theta)                                                                                                                   
    for n = 1:length(w)                % states(theta,w)に変換                                   
         states(index,1)=theta(j);     % 角度をstatesに入れる
         states(index,2)=w(n);         % 角速度をstatesに入れる
         index=index+1;                                                 
     end
end


%% 報酬関数とQ関数にstates(theta,w)を入れる
R = RewardFunc(states(:,1),states(:,2));        % 報酬関数に角度，角速度を代入
Q = repmat(R,[1,3]);                            % Q関数に代入, Rを水平に3つ重ねる



%% 最大価値関数
V = zeros(size(states,1),1);                    % 価値関数の初期値
% 最大価値関数 length(x2)×length(x1)の配列に変更, Qの最大値,2はdim 
Voring = reshape(max(Q,[],2),[length(w),length(theta)]);                      





k = 1;
for i=1:length(result(:,1))    
   %% 振り子の描画　ボ
    x0 = 0;
    y0 =0;
    x1 = 1*sin(result(i,1));
    y1 = -1*cos(result(i,1)); 
    subplot(1,2,2)
    ball_v0 = abs(result(i,2));
    ball_x0 = x1;
    ball_y0 = y1;
    ball_time = sqrt(2*abs(ball_y0)/g);
    ball_reach = x1 + ball_v0 * ball_time;
    subplot(1,2,1)
    plot([-1 1],[0 0],'linewidth',2,'color','k');
    hold on;
    line([x0 x1],[y0 y1],'color','b','linewidth',1.5);
    plot(x1, y1,'-o','markers',20,'markerfacecolor','m');
    grid on;
    title('Motion of Pendulum')
    axis([-2 2 -2 2])
    axis equal
    hold off
    M(k) = getframe(gcf);
    k = k+1;
    
    
end

movie(M)
videofile = VideoWriter('pendulum_motion.mp4', 'MPEG-4');
open(videofile)

```

単振り子のアニメーションを止めたい

シェルスクリプトで繰り返し数がn個あるfor文について、n並列化して、処理速度をあげたいと考えてます。

具体的には以下のとおりです。


for x in ${xs[@]}
  処理a
  処理b
do

* xsにはn個の成分が入ってます
* 処理bは処理aの後に実行する必要があります。

以上のスクリプトを実行すると、${xs}の1つ目, 2つ目, ..., n個目と処理が進みます。

これを、1つ目, 2つ目、...,n個目の処理を同時に処理(n並列)したいのですが、何か良い方法はありますでしょうか？

シェルスクリプトで繰り返し数nあるfor文の中身をn並列化

GitLabにてリポジトリを作成し、ローカルのファイルをそのリポジトリにプッシュしたいです。

秘密鍵と公開鍵は作成しており、GitLabには設定済みです。
.ssh/configには以下のように設定しております。
```
Host example.com
  HostName  example.com
  User      user
  TCPKeepAlive yes
  identitiesonly yes
  IdentityFile  ~/.ssh/id_rsa
  port 22
```

git remote -vの結果も指定のリポジトリとなっており、git addとcommitは成功しました。
push時に以下のようなエラーが出ます。
```
$ git push origin master
Load key "/c/Users/user/.ssh/id_rsa": invalid format
example.com: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.
```

エラーの原因が分かりません。
invalid formatが出ているのでid_rsaの形式がおかしいのでしょうか？
ご指導お願いいたします。

Gitlabに接続ができません。

[こちら](https://www.acrovision.jp/service/aws/?p=2387)　のサイトなどを参考に EC2 で MySQL を起動しようとしたのですが

sudo systemctl start mysqld

こちらを実行した時に

Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld.service" and "journalctl -xe" for details.
 
となってしまいました。 mysqld.log を確認したところ以下の様なログが出力されています。

2021-01-03T10:38:03.016769Z 0 [System] [MY-013169] [Server] /usr/sbin/mysqld (mysqld 8.0.22) initializing of server in progress as process 4043
2021-01-03T10:38:03.048504Z 0 [ERROR] [MY-010457] [Server] --initialize specified but the data directory has files in it. Aborting.
2021-01-03T10:38:03.048543Z 0 [ERROR] [MY-013236] [Server] The designated data directory /var/lib/mysql/ is unusable. You can remove all files that the server added to it.
2021-01-03T10:38:03.049690Z 0 [ERROR] [MY-010119] [Server] Aborting
2021-01-03T10:38:03.065447Z 0 [System] [MY-010910] [Server] /usr/sbin/mysqld: Shutdown complete (mysqld 8.0.22)  MySQL Community Server - GPL.

ここにある様に /var/lib/mysql/ 以下のファイルを全て削除しましたが結果は変わりませんでした。
何が原因でしょうか？　

以下の様にインストールされているモジュールを確認した所この様になっています。
yum list installed | grep mysql

mysql-community-client.x86_64         8.0.22-1.el7                   @mysql80-community
mysql-community-client-plugins.x86_64 8.0.22-1.el7                   @mysql80-community
mysql-community-common.x86_64         8.0.22-1.el7                   @mysql80-community
mysql-community-libs.x86_64           8.0.22-1.el7                   @mysql80-community
mysql-community-server.x86_64         8.0.22-1.el7                   @mysql80-community
mysql80-community-release.noarch      el7-2                          installed 


因みに [こちら](https://qiita.com/miriwo/items/eb09c065ee9bb7e8fe06) にもあるようにMariaDB用パッケージは削除済みです。


--------追記ーーーーーー

再度これらをアンインストールして [このサイト](https://it-mikeiken.com/aws-ec2-mysql-install ) などを参考に同じ様にインストールしましたがやはり同じ結果となります。。。
エラーログで検索してざっと出でくる方法を試してもやはりうまくいかない様ですが何か他に調べ方などありますでしょうか、、、

aws EC2 で MySQL を起動したい

### 前提・実現したいこと

AWSを使用して、簡単なWebサービスをつくりたいと考えています
AWS自体完全に初学者でわからないことが多いので的外れな箇所があったら指摘していただきたいです
あと、留学生なので日本語が難しいですが多めにみていただきたいです

実現したいのは、データベースのデータを更新するWebサービスです
Next.jsを使用し、フロントの開発はおわっていてLocalのJsonServeｒのモックのApiで正常に動作します
ＡＷＳではＷｅｂサーバーとＤＢサーバーをそれぞれＥｃ２とＲＤＢというサービスを使ってたてると理解しています
ＥＣ２には自分でつくったものをデプロイし、ＲＤＢにはＭｙｓｑｌをインストールすればよいのかとおもったのですが、
その場合ＡＰＩはどのようにするべきでしょうか？
ＡＰＩのためのプロジェクトをつくり、それを別のサーバーで動作させますか？
その場合そのＡＰＩへの通信は外部から行うようになりますか？（一つのＶＰＣの中にＷｅｂサーバーとＡＰＩサーバーとＤＢサーバーがあり、
Ｗｅｂサーバー→ＡＰＩサーバー→ＤＢサーバーと通信するのか、二つのネットワークがありＷｅｂサーバーー＞外部のネットわーくにあるＡＰＩサーバーー＞ＤＢサーバー（ここら辺ほんっとうにわからないので表現しきれていないのですが、
やりたいこととしてはＤＢのデータを更新することだけです
ただ、このあとにそのＤＢからデータを取り出して使用するアプリケーションも別に作ろうとしています
なので直接Ｗｅｂサーバー側からＤＢサーバーに接続してＳＱＬ文を実行する？ような処理をしたくなかったです
正直自分でも整理しきれていないのですが、自分のネットの検索能力では解決しきれない問題だったので回答いただけるととても嬉しいです
疑問点とかあればいくらでも答えるのでお願いします