常連

注目の的

現在、SpringBootでThreadを実行したアプリケーションを作っています。

ログを見る限り、並列実行で業務処理自体は思った様に動いてくれてはいます。
ただ、実際動作させるとHTTPResponseがなかなか返されず、Threadが終わるのを待っている様に感じます。

SpringのControllerで即時レスポンスを返せる、またはデフォルトで内部的にロックが掛かっている等、お分かりになる方いましたら、よろしくお願いいたします。

```Java
Controllerクラス 

    @PostMapping(value = "/export", produces = MediaType.APPLICATION_OCTET_STREAM_VALUE)
    @ResponseStatus(HttpStatus.OK)
    public ResponseEntity<Resource> exportExcel(@RequestBody @Validated MemberSearchParams params) throws IOException, IllegalArgumentException, IllegalAccessException, AuthException {

        logger.info("＠一覧検索　開始");
        List<Member> memberList = memberService.find(params).getList();
        logger.info("＠一覧検索　終了");

        logger.info("＠一覧出力　開始");
        Supplier<Integer> initValueSupplier = () -> memberService.delayExport(memberList);
        CompletableFuture<Integer> future = CompletableFuture.supplyAsync(initValueSupplier, executor);
        logger.info("＠一覧出力　終了");

        // 空を返す
        return ResponseEntity.status(HttpStatus.ACCEPTED).headers(new HttpHeaders()).body(new ByteArrayResource( new byte[0]));
    }
```

``` code
■ログ
31 19:02:00.077 ＠一覧検索　開始
31 19:02:07.321 ＠一覧検索　終了
31 19:02:07.321 ＠一覧出力　開始
31 19:02:07.578 ＠一覧出力　終了
```

SpringBootでResponseが待機してしまう

AWS lambdaで気象庁のサイトから天気図(24時間予想図、48時間予想図)のURLを取得しようとしています。
https://www.jma.go.jp/bosai/weather_mapに接続後
「▷」ボタンを押して表示される24時間予想図のURLを取得したいのですが、

ローカルでテストすると正しいアドレスが取得できるのですが、
AWS lambdaで実行すると違うアドレスが取得されてしまします。

当初はうまくいっていたのですが、なにかのタイミングでおかしなアドレスが取得されるようになってしましました。

解決方法についてご教授願います。

気象庁のサイトのjavascriptが実行環境によって異なった動きをするとかでしょうか？


```python
#気象庁天気図 24時間予想図、48時間予想図のURLを取得
#https://www.jma.go.jp/bosai/weather_map

import time
import urllib.error 
import urllib.request

from selenium import webdriver
from bs4 import BeautifulSoup


#webdriver_path = "/opt/python/bin/chromedriver"  #AWS Lambda実行時
webdriver_path = "c:/chromedriver/chromedriver"  #ローカル実行時

# webdriber.chrome option 設定
options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
options.add_argument("--window-size=1704x1078")
options.add_argument("--disable-application-cache")
options.add_argument("--disable-infobars")
options.add_argument("--no-sandbox")
options.add_argument("--hide-scrollbars")
options.add_argument("--enable-logging")
options.add_argument("--log-level=0")
options.add_argument("--single-process")
options.add_argument("--ignore-certificate-errors")
options.add_argument("--homedir=/tmp")
#options.binary_location = "/opt/python/bin/headless-chromium"  #AWS Lambda実行時



def lambda_handler(event, context):

    #========= 24時間予想図、48時間予想図のURLを取得してを保存 =============

    print()
    print("========= 24時間予想図、48時間予想図 =========")

    driver = webdriver.Chrome(webdriver_path, chrome_options=options)

    url = "https://www.jma.go.jp/bosai/weather_map"
    driver.get(url)
    title = driver.title

    print("URL: "+url +" --- title: "+ title)

    time.sleep(3)

    #24時間予想図
    # 「⇒」ボタンをクリックする
    driver.find_element_by_xpath("//img[@src='../common/image/slider_skip_forward_y.svg']").click()

    # 天気図のアドレスを取得して表示
    soup = BeautifulSoup(driver.page_source, "html5lib")
    image_td24 = soup.find('td', class_='weather-map-viewarea')
    adress24 = "https://www.jma.go.jp/bosai/weather_map/" + image_td24.find("img")["src"]
    print("24時間予想図---> "+adress24)

    time.sleep(3)

    #48時間予想図
    # 「⇒」ボタンをクリックする
    driver.find_element_by_xpath("//img[@src='../common/image/slider_skip_forward_y.svg']").click()

    # 天気図のアドレスを取得して表示
    soup2 = BeautifulSoup(driver.page_source, "html5lib")
    image_td48 = soup2.find('td', class_='weather-map-viewarea')
    adress48 = "https://www.jma.go.jp/bosai/weather_map/" + image_td48.find("img")["src"]
    print("48時間予想図---> "+adress48)


print(lambda_handler(0,0))    #ローカル実行時


```




-------------------------------------------------------------------------------------------
ローカル上で次の環境で実行

24時間予想図---> https://www.jma.go.jp/bosai/weather_map/data/png/20210517053001_0_Z__C_010000_20210517000000_MET_CHT_JCIfsas24_Rjp_JCP600x581_JRcolor_Tjmahp_image.png
 「令和3年5月18日9時の予想　24時間予想図」

48時間予想図---> https://www.jma.go.jp/bosai/weather_map/data/png/20210517065930_0_Z__C_010000_20210517000000_MET_CHT_JCIfsas48_Rjp_JCP600x581_JRcolor_Tjmahp_image.png
 「令和3年5月19日9時の予想　48時間予想図」


-------------------------------------------------------------------------------------------
AWS Lambda上で次の環境で実行
headless chrome=64.0.3282.167
chromedriver=2.37.544315 (730aa6a5fdba159ac9f4c1e8cbc59bf1b5ce12b7),platform=Linux 4.14.225-175.364.amzn2.x86_64 x86_64)

<結果>　取得アドレスがおかしい

24時間予想図---> https://www.jma.go.jp/bosai/weather_map/data/png/20210516021231_0_Z__C_010000_20210516000000_MET_CHT_JCIspas_JCP600x581_JRcolor_Tjmahp_image.png
 「令和3年5月16日9時」

48時間予想図---> https://www.jma.go.jp/bosai/weather_map/data/png/20210516021231_0_Z__C_010000_20210516000000_MET_CHT_JCIspas_JCP600x581_JRcolor_Tjmahp_image.png
 「令和3年5月16日9時」


-------------------------------------------------------------------------------------------
AWS Lambda上で次の環境で実行
headless chrome=67.0.3396.99
chromedriver=2.40.565383 (76257d1ab79276b2d53ee976b2c3e3b9f335cde7),platform=Linux 4.14.225-175.364.amzn2.x86_64 x86_64


<結果>　以下のようなエラーが発生
{
  "errorMessage": "Message: no such element: Unable to locate element: {\"method\":\"xpath\",\"selector\":\"//img[@src='../common/image/slider_skip_forward_y.svg']\"}\n  
(Session info: headless chrome=67.0.3396.99)\n  (Driver info: chromedriver=2.40.565383 (76257d1ab79276b2d53ee976b2c3e3b9f335cde7),platform=Linux 4.14.225-175.364.amzn2.x86_64 x86_64)\n",
  "errorType": "NoSuchElementException",
  "stackTrace": [
    "  File \"/var/task/lambda_function.py\", line 52, in lambda_handler\n    
driver.find_element_by_xpath(\"//img[@src='../common/image/slider_skip_forward_y.svg']\").click()\n",
    "  File \"/opt/python/selenium/webdriver/remote/webdriver.py\", line 394, in find_element_by_xpath\n    
return self.find_element(by=By.XPATH, value=xpath)\n",

AWS lambdaで気象庁のサイトの天気図のURL取得がうまくいかない

Django: jsonファイルから初期データ投入しようとすると、存在しないデータのプライマリーキーの重複エラーが発生してしまいます。
以下に発生している問題の詳細等を記載しましたので、アドバイスいただけたらと思います。

### 前提
・フレームワークはDjango、DBはpostgreSQL、VMはDockerを使用。
・カスタムユーザーのモデルを作成して、マイグレーション済み。
・プロジェクト内に、account アプリのフォルダを作成。
・account アプリのディレクトリに、以下のmodels.pyを作成し、カスタムユーザーの作成・マイグレーションに使用。



**account/models.py**
```
from django.db import models
from django.contrib.auth.models import AbstractUser

class User(AbstractUser):
    account_name  = models.CharField(max_length=20)
    user_name     = models.CharField(max_length=20)
    first_name    = models.CharField(max_length=20,blank=True, null=True)
    family_name   = models.CharField(max_length=20,blank=True, null=True)
    company_name  = models.CharField(max_length=30,blank=True, null=True)
    email_address = models.EmailField()
    introduction  = models.TextField()
    avatar        = models.FileField(upload_to='account-avatar/')
    created_at = models.DateTimeField(auto_now_add=True)
    last_updated_at = models.DateTimeField(auto_now=True)
    def __str__(self):
        return self.account_name

```

### 実現したいこと

以下のjsonファイルを使用して、DBに初期データを投入したい。
```
[
  {
    "model": "account.user",
    "pk": 1,
    "fields": {
        "account_name": "TANAKA",
        "user_name": "tanaka2564",
        "first_name": "Taro",
        "family_name": "Tanaka",
        "company_name": "",
        "email_address": "",
        "introduction": "helo world",
        "avatar": "account_avatar_1.png",
        "created_at": "2021-05-8T13:30:00.000Z",
        "last_updated_at": "2021-05-10T13:30:00.000Z"    
    }
  },
  {
    "model": "account.user",
    "pk": 2,
    "fields": {
        "account_name": "SUZUKI",
        "user_name": "syzuki2564",
        "first_name": "Jiro",
        "family_name": "Suzuki",
        "company_name": "",
        "email_address": "",
        "introduction": "helo world",
        "avatar": "account_avatar_1.png",
        "created_at": "2021-05-8T13:30:00.000Z",
        "last_updated_at": "2021-05-10T13:30:00.000Z" 
    }
  },
  {
    "model": "account.user",
    "pk": 3,
    "fields": {
        "account_name": "SATO",
        "user_name": "sato2564",
        "first_name": "Saburo",
        "family_name": "Sato",
        "company_name": "",
        "email_address": "",
        "introduction": "helo world",
        "avatar": "account_avatar_1.png",
        "created_at": "2021-05-8T13:30:00.000Z",
        "last_updated_at": "2021-05-10T13:30:00.000Z"    
    }
  },
  {
    "model": "account.user",
    "pk": 4,
    "fields": {
        "account_name": "UEKI",
        "user_name": "ueki2564",
        "first_name": "Shiro",
        "family_name": "Ueki",
        "company_name": "",
        "email_address": "",
        "introduction": "helo world",
        "avatar": "account_avatar_1.png",
        "created_at": "2021-05-8T13:30:00.000Z",
        "last_updated_at": "2021-05-10T13:30:00.000Z" 
    }
  },
  {
    "model": "account.user",
    "pk": 5,
    "fields": {
        "account_name": "KOBAYASHI",
        "user_name": "kobayashi2564",
        "first_name": "Goro",
        "family_name": "Kobayasi",
        "company_name": "",
        "email_address": "",
        "introduction": "helo world",
        "avatar": "account_avatar_1.png",
        "created_at": "2021-05-8T13:30:00.000Z",
        "last_updated_at": "2021-05-10T13:30:00.000Z"    
    }
  }
]

```

### 発生している問題・エラーメッセージ

```
docker-compose run web ./manage.py loaddata user.json
```
を実行し、初期データを投入しようとすると、以下のエラーメッセージ が表示される。
```
  account/migrations/0002_auto_20210510_0727.py
    - Alter field account_name on user
    - Alter field company_name on user
    - Alter field family_name on user
    - Alter field first_name on user
    - Alter field user_name on user
hirotosatoh@mbp:~/project/thai_qiita (feature/create_test_data_for_account_application *)$ docker-compose run web ./manage.py migrate
Creating thai_qiita_web_run ... done
Operations to perform:
  Apply all migrations: account, admin, auth, contenttypes, sessions
Running migrations:
  Applying account.0002_auto_20210510_0727... OK
hirotosatoh@mbp:~/project/thai_qiita (feature/create_test_data_for_account_application *)$ docker-compose run web ./manage.py loaddata user.json
Creating thai_qiita_web_run ... done
Traceback (most recent call last):
  File "/usr/local/lib/python3.9/site-packages/django/db/backends/utils.py", line 84, in _execute
    return self.cursor.execute(sql, params)
psycopg2.errors.UniqueViolation: duplicate key value violates unique constraint "account_user_username_key"
DETAIL:  Key (username)=() already exists.


The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/code/./manage.py", line 22, in <module>
    main()
  File "/code/./manage.py", line 18, in main
    execute_from_command_line(sys.argv)
  File "/usr/local/lib/python3.9/site-packages/django/core/management/__init__.py", line 381, in execute_from_command_line
    utility.execute()
  File "/usr/local/lib/python3.9/site-packages/django/core/management/__init__.py", line 375, in execute
    self.fetch_command(subcommand).run_from_argv(self.argv)
  File "/usr/local/lib/python3.9/site-packages/django/core/management/base.py", line 323, in run_from_argv
    self.execute(*args, **cmd_options)
  File "/usr/local/lib/python3.9/site-packages/django/core/management/base.py", line 364, in execute
    output = self.handle(*args, **options)
  File "/usr/local/lib/python3.9/site-packages/django/core/management/commands/loaddata.py", line 72, in handle
    self.loaddata(fixture_labels)
  File "/usr/local/lib/python3.9/site-packages/django/core/management/commands/loaddata.py", line 114, in loaddata
    self.load_label(fixture_label)
  File "/usr/local/lib/python3.9/site-packages/django/core/management/commands/loaddata.py", line 181, in load_label
    obj.save(using=self.using)
  File "/usr/local/lib/python3.9/site-packages/django/core/serializers/base.py", line 223, in save
    models.Model.save_base(self.object, using=using, raw=True, **kwargs)
  File "/usr/local/lib/python3.9/site-packages/django/db/models/base.py", line 780, in save_base
    updated = self._save_table(
  File "/usr/local/lib/python3.9/site-packages/django/db/models/base.py", line 873, in _save_table
    result = self._do_insert(cls._base_manager, using, fields, update_pk, raw)
  File "/usr/local/lib/python3.9/site-packages/django/db/models/base.py", line 910, in _do_insert
    return manager._insert([self], fields=fields, return_id=update_pk,
  File "/usr/local/lib/python3.9/site-packages/django/db/models/manager.py", line 82, in manager_method
    return getattr(self.get_queryset(), name)(*args, **kwargs)
  File "/usr/local/lib/python3.9/site-packages/django/db/models/query.py", line 1186, in _insert
    return query.get_compiler(using=using).execute_sql(return_id)
  File "/usr/local/lib/python3.9/site-packages/django/db/models/sql/compiler.py", line 1377, in execute_sql
    cursor.execute(sql, params)
  File "/usr/local/lib/python3.9/site-packages/django/db/backends/utils.py", line 99, in execute
    return super().execute(sql, params)
  File "/usr/local/lib/python3.9/site-packages/django/db/backends/utils.py", line 67, in execute
    return self._execute_with_wrappers(sql, params, many=False, executor=self._execute)
  File "/usr/local/lib/python3.9/site-packages/django/db/backends/utils.py", line 76, in _execute_with_wrappers
    return executor(sql, params, many, context)
  File "/usr/local/lib/python3.9/site-packages/django/db/backends/utils.py", line 84, in _execute
    return self.cursor.execute(sql, params)
  File "/usr/local/lib/python3.9/site-packages/django/db/utils.py", line 89, in __exit__
    raise dj_exc_value.with_traceback(traceback) from exc_value
  File "/usr/local/lib/python3.9/site-packages/django/db/backends/utils.py", line 84, in _execute
    return self.cursor.execute(sql, params)
django.db.utils.IntegrityError: Problem installing fixture '/code/account/fixtures/user.json': Could not load account.User(pk=2): duplicate key value violates unique constraint "account_user_username_key"
DETAIL:  Key (username)=() already exists.

```
プライマリーキー２のデータが重複していることによるエラーと思われるが、account_userのテーブルに既存のデータが存在しないため、なぜ、このエラーが表示されるか、わからなかった。



### 試したこと①

```ここに言語を入力
account.User(pk=2): duplicate key
``` とエラーが表示されていたため、jsonファイルからid2のユーザーを削除し、再度データ投入を試みた。

すると今度は、
```ここに言語を入力
account.User(pk=3): duplicate key
```
 とエラーが表示された。
同様に、id2と3を削除し、再度データ投入を実行すると、
```ここに言語を入力
account.User(pk=4): duplicate key
```
とエラーが表示された。
上から数えて２番目のidになぜか重複エラーが発生する。

### 試したこと②
postgreSQLのDB内に入り、account_userのテーブルに既存のデータが存在するか確認したが、やはり、データ投入前なので、既存のデータはなかった。

### 試したこと③

以下のコマンドを実行し、マイグレーションや作成したDBを、一度削除し、作り直した。
```
docker-compose run web ./manage.py showmigrations
docker-compose run web ./manage.py migrate --fake admin zero
docker-compose run web ./manage.py migrate --fake auth zero
docker volume ls
docker-compose down
docker volume rm ryuukakusan_db
docker-compose up --build -d
docker-compose run web ./manage.py showmigrations
docker-compose run web ./manage.py makemigrations
docker-compose run web ./manage.py migrate
```
しかし、結果は変わらず、初期データ投入を試みると、
```ここに言語を入力
account.User(pk=2): duplicate key
``` とエラーが表示されてしまう。