常連

注目の的

回答者

自己紹介

python3.7を使用しています。
文字列nameについている_とsuffixを、re.subによる置換で取り除きたいのですが、suffixの中に特殊記号が入っているとうまく置換できません。
例えば、下記のように、suffixに+等が入っている場合に、suffixを取り除いた文字列「efg」だけを取り出せません。

suffix = "ab+cd"
name = "efg_ab+cd"
except_suffix = re.sub(rf"_{suffix}$", "", name)
print(except_suffix)

>efg_ab+cd

正規表現内に記号が使われても問題ないようにするにはどうすればよいでしょうか？

pythonで正規表現内の変数に特殊記号が使われている場合に置換する方法

### 概要
『ゼロから作るDeepLearning -Pythonで学ぶディープラーニングの理論と実装』(2016)を読みサンプルプログラムを実装しているのですが、モジュールの読み込み時にエラーが出てしまいVSCode上で実行することができません。コマンドプロンプトからは正常に動作することを確認しました。


### 該当のソースコード
書籍で使用するプログラム→<https://github.com/oreilly-japan/deep-learning-from-scratch>
該当のコードは\ch03\mnist_show.pyです。

GitHubに公開されているものと同じです。

```Python
# coding: utf-8
import sys, os
sys.path.append(os.pardir)  # 親ディレクトリのファイルをインポートするための設定
import numpy as np
from dataset.mnist import load_mnist
from PIL import Image

~~~
```

ディレクトリの構造としてはこんな感じです。
```
deep-learning-from-scratch
 ├─ch03
 │ └─mnist_show.py
 └─dataset
   └─mnist.py
```

### 発生している問題・エラーメッセージ
5行目でエラーが発生します。
```
PS D:\Documents\MyProjects\DeepL> & C:/Python38/python.exe d:/Documents/MyProjects/DeepL/deep-learning-from-scratch/ch03/mnist_show.py
Traceback (most recent call last):
  File "d:/Documents/MyProjects/DeepL/deep-learning-from-scratch/ch03/mnist_show.py", line 5, in <module>
    from dataset.mnist import load_mnist
ModuleNotFoundError: No module named 'dataset'
```

### 試したこと

- コマンドプロンプトからは実行できた。
- `import ..dataset.mnist`で親ディレクトリからインポート
→エラー`ImportError: attempted relative import with no known parent package`
- `sys.path`で検索パスを調べる。
→
```
'd:\Documents\MyProjects\DeepL\deep-learning-from-scratch\ch03',
 'C:\Python38\python38.zip',
 'C:\Python38\DLLs',
 'C:\Python38\lib',
 'C:\Python38',
 'C:\Users\naru2\AppData\Roaming\Python\Python38\site-packages',
 'C:\Python38\lib\site-packages',
 'C:\Python38\lib\site-packages\win32',
 'C:\Python38\lib\site-packages\win32\lib',
 'C:\Python38\lib\site-packages\Pythonwin'
```
これはVSCodeとコマンドプロンプトどちらの出力も同じでした。


### 補足情報
OS:Windows 10 Home
使用しているインタープリター:Python 3.8.3 64-bit(https://www.python.org/からインストールしたもの)


よろしくお願いします。

[Python]VSCode上で親ディレクトリのファイルをimportしたい

### 実現したいこと
AWSで構築したwebアプリがあり、そこに開発環境で作った機能を追加したいです。
今までだと開発環境で新機能を追加し、そのソースコードをサーバーのファイルへコピペするという非常に原始的で危なっかしい方法でやってきました。
また、開発環境での`config`ファイルなどの機密性の高いファイルを環境変数を使うように仕向けるのも今までは手で直してきました。
以上のようなやり方で今まで開発環境と本番環境を完全に分離したものとして作業してきのですが、ずっとこのやり方で行くのはスマートな方法でないのでその対処を知りたいです。
そのあたりの開発環境での変更を本番環境へスムーズに反映させるにはどうすればいいですか。

### 解決？
私なりの解決策を考えたのですが、これであってますか？
- `git`で開発環境と本番環境のブランチをつくって云々。
- `docker`を使う。

本番環境に機能を追加するとき

REST APIから取得したCSVデータをCSVファイルを介さず、データが格納されている変数をそのままデータフレームにしたいです。データフレーム化したデータはその後bigQueryに格納します。
CSVファイルに一旦保存してからだとBigQuery格納まで問題なく実装できました。
ですが、Google functionを活用してサーバーレスで今後は実装したいため、CSVファイルの読み込みや書き込みの処理を省きたいです。
現状はpd.read_csv(client_data)の処理でOSError: [Errno 63] File name too long:とエラーが出ています。
データフレーム化にはやはり一旦CSVファイルにデータを保存する必要があるのでしょうか？？
もし、変数のままデータフレーム化できる方法をご存知の方がいらっしゃいましたらご教授頂きたいです。
よろしくお願いします。

```
    response_get = requests.get(url, json=param1, headers=headers)
    response_get.encoding = 'UTF-8'
    client_data = response_get.text
    df = pd.read_csv(client_data)
```

Pythonのpandasを使ってAPIから取得したCSVデータをCSVファイルを介せずデータフレーム化したいです。

input_num = input().split(" ")
input_arr = input_num

print(input_arr)
rest_1 = int(input_arr[0])  - int(input_arr[1])/100

rest_2 = rest_1 - int(input_arr[2])/100
print(rest_1)
print(rest_2)

のコードで
「 1 80 40 」と入力しました。
print(rest_1) で，0,2 と表示されると思ったのですが

コマンドプロンプトで出力すると，0,19999999999999996 となってしまいます。
どのようにすれば，0,2 の出力になるでしょうか？

少し，コードを変更しています。
```Python

input_num = input().split(" ")
input_arr = input_num

print(input_arr)
rest_1 = int(input_arr[0])  - int(input_arr[1])/100

rest_2 = rest_1 - rest_1 * int(input_arr[2])/100
print("{:.1f}".format(rest_1))
print("{:.1f}".format(rest_2))

```

上記のコードの時，出力は小数第2位までの値があるのですが
小数第位1位までしか，表示できません。

出力の値に応じて，表示する小数の桁数を決定することは出来ませんでしょうか？
イメージとしては，入力が（ 1 80 40 )のとき
rest_1 を 0.2 として出力
rest_2 を 0,12 として出力したいです。

Python での少数の表示について

### 概要

現在、DBMSにpostgresqlを採用して下記の手順でアプリ開発の環境を構築しております

__postgresql version 13.1__

```
① brew install postgresql

② ~/.zshに「export PGDATA='/usr/local/var/postgres'」というパスを通す

③ 想定どおりに行けば、ここで「postgres」コマンドを実行するとpostgresサーバーに接続される
```


しかし③で「postgres」コマンドを打つと、実際には下記のようなログが出力されます。



```

2020-12-27 22:15:37.369 JST [19406] LOG:  starting PostgreSQL 13.1 on x86_64-apple-darwin19.6.0, compiled by Apple clang version 12.0.0 (clang-1200.0.32.27), 64-bit
2020-12-27 22:15:37.371 JST [19406] LOG:  listening on IPv6 address "::1", port 5432
2020-12-27 22:15:37.371 JST [19406] LOG:  listening on IPv4 address "127.0.0.1", port 5432
2020-12-27 22:15:37.390 JST [19406] FATAL:  could not create lock file "/tmp/.s.PGSQL.5432.lock": Permission denied
2020-12-27 22:15:37.392 JST [19406] LOG:  database system is shut down

```

おそらく上記のログの4行目で「permisshon denied」となっているので権限というキーワードから検索していろいろ試しましたが、この
```
"/tmp/.s.PGSQL.5432.lock"
```

というlockファイルを作成することができませんでした。


自分はまだまだ知識量が乏しいので、もしかしたらそもそもの「手順」が間違ってるかもしれません。

ですので、その辺りも含めてどなたかお詳しい方がおられましたら、お力添えをいただけると幸いです。

postgresqlの「postgres」コマンドが実行できません、、、

https://snownet.jp/search/?prefarea=1
のゲレンデごとのコース数をスクレイピングしたいのですが、以下のようにしても上手くいきません。

import os, requests, bs4, openpyxl, re
url="https://snownet.jp/search/?prefarea=1"

res=requests.get(url)
res.raise_for_status()
soup=bs4.BeautifulSoup(res.content)

for tr in soup.select('table.type1 tbody tr'):
    tds=tr.select('td')
    print(tds[0].text)

.selectの後のセレクタ設定がおかしいような気もするのですが、原因がわからず。。
よろしくお願いいたします。　python3.6.5のWindows7です。

python テーブル要素のスクレイピング

### Djangoの本番運用環境で配信用の静的ファイルをディレクトリに配置しようとするとエラーが発生する。(python manege.py collectstaicコマンドでエラー発生)

「動かして学ぶ！PythonDjango開発入門」という書籍を参考に進めています。

AWSのEC2インスタンスにSSH接続している状態で、Nginx管轄の公開ディレクトリにDjangoのプロジェクトディレクトリにある静的ファイルをコピーしたいのですが、以下のようにエラーが発生し行き詰まっています。

EC2インスタンスにSSH接続
```ここに言語を入力
$ ssh EC2_app_admin
```

静的ファイルを配置するディレクトリを以下のコマンドを実行して作成後、配置ディレクトリの所有者を変更。

```ここに言語を入力
$ sudo mkdir -p /usr/share/nginx/html/static
$ sudo mkdir /usr/share/nginx/html/media
$ sudo chown app_admin /usr/share/nginx/html/static
$ sudo chown app_admin /usr/share/nginx/html/media

```

Python仮想環境に入り、manage.pyがあるディレクトリに移動。続いてcollectstaticコマンドを実行

```ここに言語を入力
$ source ~/venv_private_diary/bin/activate
$ cd ~/venv_private_diary/private_diary
$ python manage.py collectstatic
```

すると以下のようにエラーが発生します。

```ここに言語を入力
Traceback (most recent call last):
  File "manage.py", line 21, in <module>
    main()
  File "manage.py", line 17, in main
    execute_from_command_line(sys.argv)
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/core/management/__init__.py", line 381, in execute_from_command_line
    utility.execute()
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/core/management/__init__.py", line 375, in execute
    self.fetch_command(subcommand).run_from_argv(self.argv)
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/core/management/base.py", line 323, in run_from_argv
    self.execute(*args, **cmd_options)
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/core/management/base.py", line 364, in execute
    output = self.handle(*args, **options)
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/contrib/staticfiles/management/commands/collectstatic.py", line 188, in handle
    collected = self.collect()
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/contrib/staticfiles/management/commands/collectstatic.py", line 114, in collect
    handler(path, prefixed_path, storage)
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/contrib/staticfiles/management/commands/collectstatic.py", line 342, in copy_file
    if not self.delete_file(path, prefixed_path, source_storage):
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/contrib/staticfiles/management/commands/collectstatic.py", line 249, in delete_file
    if self.storage.exists(prefixed_path):
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/core/files/storage.py", line 310, in exists
    return os.path.exists(self.path(name))
  File "/home/app_admin/venv_private_diary/lib64/python3.7/site-packages/django/contrib/staticfiles/storage.py", line 44, in path
    raise ImproperlyConfigured("You're using the staticfiles app "
django.core.exceptions.ImproperlyConfigured: You're using the staticfiles app without having set the STATIC_ROOT setting to a filesystem path.

```


settings.pyは以下のように設定しています。


```ここに言語を入力
from .settings_common import *


# デバックモードを有効にするかどうか(本番環境では必ずFalseにする)
DEBUG = False

# 許可するホスト名のリスト
ALLOWED_HOSTS = [os.environ.get('ALLOWED_HOSTS')]

# 静的ファイルを配置する場所
STATIC_ROOT = '/usr/share/nginx/html/static'
MEDIA_ROOT = '/usr/share/nginx/html/media'

# Amazon SES関連設定
AWS_SES_ACCESS_KEY_ID = os.environ.get('AWS_SES_ACCESS_KEY_ID')
AWS_SES_SECRET_ACCESS_KEY = os.environ.get('AWS_SES_SECRET_ACCESS_KEY')
EMAIL_BACKEND = 'django_ses.SESBackend'

# ロギング
LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,

    # ロガーの設定
    'loggers': {
        # Djangoが利用するロガー
        'django': {
            'handlers': ['file'],
            'level': 'INFO',
        },
        # diaryアプリケーションが利用するロガー
        'diary': {
            'handlers': ['file'],
            'level': 'INFO',
        },
    },

    # ハンドラの設定
    'handlers': {
        'file': {
            'level': 'INFO',
            'class': 'logging.handlers.TimedRotatingFileHandler',
            'filename': os.path.join(BASE_DIR, 'logs/django.log'),
            'formatter': 'prod',
            'when': 'D',  # ログローテーション(新しいファイルへの切り替え)間隔の単位(D=日)
            'interval': 1,  # ログローテーション間隔(一日単位)
            'backupCount': 7,  # 保存しておくログファイル数
        },
    },

    # フォーマッタの設定
    'formatters': {
        'prod': {
            'format': '\t'.join([
                '%(asctime)s',
                '[%(levelname)s]',
                '%(pathname)s(Line:%(lineno)d)',
                '%(message)s'
            ])
        },
    }
}

```
settings_common.pyは以下のように設定しています。

```ここに言語を入力
"""
Django settings for private_diary project.

Generated by 'django-admin startproject' using Django 2.2.2.

For more information on this file, see
https://docs.djangoproject.com/en/2.2/topics/settings/

For the full list of settings and their values, see
https://docs.djangoproject.com/en/2.2/ref/settings/
"""

from django.contrib.messages import constants as messages

import os

# Build paths inside the project like this: os.path.join(BASE_DIR, ...)
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))


# Quick-start development settings - unsuitable for production
# See https://docs.djangoproject.com/en/2.2/howto/deployment/checklist/

# SECURITY WARNING: keep the secret key used in production secret!
SECRET_KEY = 'kobxonc)5vx3ix4mu2%#6y&bqx8wx8#5)z75)f3r3ow#llxj25'


# Application definition

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',

    'diary.apps.DiaryConfig',
    'accounts.apps.AccountsConfig',

    'django.contrib.sites',
    'allauth',
    'allauth.account',

    'django_ses',

]

MIDDLEWARE = [
    'django.middleware.security.SecurityMiddleware',
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.common.CommonMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
    'django.middleware.clickjacking.XFrameOptionsMiddleware',
]

ROOT_URLCONF = 'private_diary.urls'

TEMPLATES = [
    {
        'BACKEND': 'django.template.backends.django.DjangoTemplates',
        'DIRS': [],
        'APP_DIRS': True,
        'OPTIONS': {
            'context_processors': [
                'django.template.context_processors.debug',
                'django.template.context_processors.request',
                'django.contrib.auth.context_processors.auth',
                'django.contrib.messages.context_processors.messages',
            ],
        },
    },
]

WSGI_APPLICATION = 'private_diary.wsgi.application'


# Database
# https://docs.djangoproject.com/en/2.2/ref/settings/#databases

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql_psycopg2',
        'NAME': 'private_diary',
        'USER': os.environ.get('DB_USER'),
        'PASSWORD': os.environ.get('DB_PASSWORD'),
        'HOST': '',
        'PORT': '',
    }
}


# Password validation
# https://docs.djangoproject.com/en/2.2/ref/settings/#auth-password-validators

AUTH_PASSWORD_VALIDATORS = [
    {
        'NAME': 'django.contrib.auth.password_validation.UserAttributeSimilarityValidator',
    },
    {
        'NAME': 'django.contrib.auth.password_validation.MinimumLengthValidator',
    },
    {
        'NAME': 'django.contrib.auth.password_validation.CommonPasswordValidator',
    },
    {
        'NAME': 'django.contrib.auth.password_validation.NumericPasswordValidator',
    },
]


# Internationalization
# https://docs.djangoproject.com/en/2.2/topics/i18n/

LANGUAGE_CODE = 'ja'

TIME_ZONE = 'Asia/Tokyo'

USE_I18N = True

USE_L10N = True

USE_TZ = True


# Static files (CSS, JavaScript, Images)
# https://docs.djangoproject.com/en/2.2/howto/static-files/

STATIC_URL = '/static/'

STATICFILES_DIRS = (
    os.path.join(BASE_DIR, 'static'),
)
# 画像を配信するURLのホスト名以下のルートURLに使用
MEDIA_URL = '/media/'

MESSAGE_TAGS = {
    messages.ERROR: 'alert alert-danger',
    messages.WARNING: 'alert alert-warning',
    messages.SUCCESS: 'alert alert-success',
    messages.INFO: 'alert alert-info',
}

AUTH_USER_MODEL = 'accounts.CustomUser'


SITE_ID = 1

AUTHENTICATION_BACKENDS = (
    'allauth.account.auth_backends.AuthenticationBackend',
    'django.contrib.auth.backends.ModelBackend',
)


ACCOUNT_AUTHENTICATION_METHOD = 'email'
ACCOUNT_USERNAME_REQUIRED = False


ACCOUNT_EMAIL_VERIFICATION = 'mandatory'
ACCOUNT_EMAIL_REQUIRED = True


LOGIN_REDIRECT_URL = 'diary:diary_list'
ACCOUNT_LOGOUT_REDIRECT_URL = 'account_login'


ACCOUNT_LOGOUT_ON_GET = True


ACCOUNT_EMAIL_SUBJECT_PREFIX = ''


DEFAULT_FROM_EMAIL = 'admin@example.com'

# バックアップバッチ用
BACKUP_PATH = 'backup/'
NUM_SAVED_BACKUP = 30
```

対処法があれば教えて頂けると嬉しいです。よろしくお願いします。


＜追記＞

settingファイルとstaticファイルの位置関係はこのようになってます。

![イメージ説明](cc9504f3fcc8f2e85744ab32612ba422.png)