常連

注目の的

社会貢献

質問力

回答者

ベストアンサー

拍手喝采

支持者

自己紹介

有名人

### 発生している問題・エラーメッセージ
現在、データ数1000ほどのデータセットを用いてグラフ畳み込みニューラルネットの学習をしています。

通常、深層学習のパラメータ（層数、ノード数など）を調整する際にはデータをtrainとvalidationとtestに分けて、trainで学習、validationデータでの評価指標（例えばクロスエントロピーロスなど）の値でEarly stoppingをかけ、validationでの評価指標がもっとも良い状態のモデルを用いてtestデータでの予測を行い、汎化性能の評価を行うことが多いかと思います。

今回の例ではデータがあまり多くないので、単にvalidationデータでの評価のみでパラメータを選ぶと、validationへの過学習のようなものが起こりうるため、5-fold cross validationにてパラメータ探索をしています。

パラメータ最適化ライブラリoptunaを用いて探索を行い、各パラメータセットに対して、各foldでearly stoppingをかけながら、5-foldの平均の評価指標がもっともよくなるパラメータセットを選びます。

ここまでは問題ないのですが、選ばれたパラメータを用いて、testでの予測を行う際に、問題が生じます。というのは、パラメータ探索の際の各foldでearly stoppingをかけていたので、各foldでエポック数が異なります。そのため、現在は各foldのエポックの平均をとって、再びtrainとvalidationを合わせたデータで学習し、testでの予測を行なっています。ただ、これでは最適な状態のモデルでは必ずしもないので、testでの性能が大きく下がってしまいます。




### 試したこと
考えられる対応策としては、early stoppingなしでepoch数を固定した上で、パラメータ探索をすることが考えられます。ただearly stoppingの予測性能への影響が大きい中でそれを外すのは果たして良いのかと考えています。

このような状況での対応についてご意見を伺いたいです。

よろしくお願いいたします。

Deep Learningのパラメータをクロスバリデーションで決める

##前提・実現したいこと
python初心者です。一定時間毎にとある処理を実行しようと思い下記のようなコードを書いたのですが、少しずつ時間が後ろにずれてしまいます。原因としてtime.sleep関数の処理時間が加算されているからだということはわかっているのですが、自力では解決できず困っています。少し調べてみたところthreadingモジュールを用いて並列処理を行えば良いとのことなのですが、書き方がよくわかりません。。。どなたかお詳しい方、ご教授の程お願い致します。。。


##該当のソースコード
```python3
import time

a = 0
interval = 1　　　#　interval 秒毎に処理を行う

while  True:
    start_time = time.time()
    a = a + 1　　　#メイン処理の部分（例：a = a + 1）
    end_time = time.time()
    elapsed_time = end_time - start_time
    print(a, time.time())
    time.sleep(interval - elapsed_time)
```



##出力結果
1 1567576252.1512504
2 1567576253.1539986
3 1567576254.155937
4 1567576255.1598516
5 1567576256.1624286
6 1567576257.1645737
7 1567576258.166844
8 1567576259.1700335
9 1567576260.1723292
10 1567576261.1763277
…

python3で一定時間毎に処理を行いたい！

スクレイピングをする時に以下のように
セキュリティ権限拒否ではじかれてできないURLが中にはあります。

私もサイトを運営しているのですが
サーバー上にどのファイル構成のパーミッションを変更すると
このようにスクレイピングできないディレクトリ構成となるのでしょうか？
ブラウザだと見れてPythonだと見れないというのが混乱しています。

例えばディレクトリ構成を以下とします。

```ここに言語を入力
hoge.com　
　　index.html
　　style.css

```

エラーは以下です。

```ここに言語を入力
C:\Users\xx\Desktop>python xx.py
analize_html= https://hoge.org
Traceback (most recent call last):
  File "xx.py", line 68, in <module>
    analize_html(url, url)
  File "xx.py", line 54, in analize_html
    html = open(savepath, "r", encoding="utf-8").read()
PermissionError: [Errno 13] Permission denied: './hoge.org' 

```


  url = "https://ほげほげどっとこむ"


```ここに言語を入力
#coding: UTF-8
from bs4 import BeautifulSoup
import urllib
import urllib.request
from urllib.parse import urlparse
from urllib.parse import urljoin
from urllib.request import urlretrieve
from os import makedirs
import os.path, time, re

test_files = {}

def enum_links(html, base):
   soup = BeautifulSoup(html, "html.parser")
   links = soup.select("link[rel='stylesheet']")
   links += soup.select("a[href]")
   result = []

   for a in links:
      href = a.attrs['href']
      url = urljoin(base, href)
      result.append(url)
   return result

def download_file(url):
   o = urlparse(url)
   savepath = "./" + o.netloc + o.path
   if re.search(r"/$", savepath):
      savepath += "index.html"
   savedir = os.path.dirname(savepath)

   if os.path.exists(savepath): return savepath

   if not os.path.exists(savedir):
      print("mkdir=", savedir)
      makedirs(savedir)

   try:
      print("download=", url)
      urlretrieve(url, savepath)
      time.sleep(1)
      return savepath
   except:
      print("falure download", url)
      return None

def analize_html(url, root_url):
   savepath = download_file(url)
   if savepath is None: return
   if savepath in test_files: return
   test_files[savepath] = True
   print("analize_html=", url)

   html = open(savepath, "r", encoding="utf-8").read()
   links = enum_links(html, url)
   for link_url in links:
      if link_url.find(root_url) != 0:
         if not re.search(r".css$", link_url): continue

      if re.search(r".(html|htm)$", link_url):
         analize_html(link_url, root_url)
         continue

      download_file(link_url)

if __name__ == "__main__":
   url = "https://ほげほげどっとこむ"
   analize_html(url, url)
```

Python　スクレイピングを拒否したい

Djangoのクラスベースビューについて教えてください。
PHPの自由さに慣れてしまっているため、
質問内容自体がおかしいかもしれませんがご了承ください。

###①クラスベースビューでは特定のメソッド名しかつけられませんか？
ページの名前＝メソッド名というのに慣れてしまっており、これができたら嬉しいのですが、
自分の知識ではできませんでした。そもそも無理で関数を利用するしかなのでしょうか？

```python
# 例えばこうしたいです

# urls.py
path('', CompanyView.address(), name='address'),
path('job_offer', CompanyView.job_offer(), name='job_offer'),

# views.py
class CompanyView:

　　#ページと同じメソッド名前にしたい
    def address(self, request, *args, **kwargs):
        app = {'apps': 'Hello World'}
        return render(request, 'company/address.html', app)

    def job_offer(self, request, *args, **kwargs):
```

###②TemplateView利用時はtemplate_name必須？？？
他のサイトを確認したところ、TemplateView利用時はtemplate_name必須と書いてありました。
しかし、そんなこともなく動いているのですが、必須ではないのですか？
バージョンによる違いですか？

```python
#これで動きます
class IndexView(TemplateView):
    
    def get(self, request, *args, **kwargs):
        return HttpResponse('Hello World')
```


###③view.pyには複数クラスを作成するものですか？
例えばですが、
**利用規約 → フォーム → 確認 → 登録 → 完了**
というような流れで進む場合に

**利用規約**
TemplateViewを利用したTermsOfUseViewクラス

**フォーム**
FormViewを利用したRegisterViewクラス

**確認画面**
TemplateViewを利用したConfirmationViewクラス

**登録**
CreateViewを利用したExecutionクラス

**完了**
TemplateViewを利用したCompletionViewクラス

といった感じで複数クラスを作成するものなでしょうか？
(英語は苦手なので、命名がおかしくても許してください)

以上３点よろしくお願いします。

Djangoのクラスベースビューについて

pythonでSeleniumを使ってページ読み込みをしていて、javascript読み込みでデータがどんどん追加されるページを読み込みしています。

ここで読み込みしたクエリの一覧を取得する方法はあるでしょうか？

たとえば
> /mypqge?id=xxxxx

というページを読み込みしたとき、

> /query/profile?hash=yyyy
/query/image?hash=yyyy

というクエリを投げてデータ読み込みしているみたいですが、このクエリ自体を受け取ったことをHTMLの変化以外で確認する方法はあるでしょうか？

※hash=yyyyの部分はロジックで作られているみたいなので、推測できない状態です
※推測できれば、それに越したことはないのですが。。

pythonでSeleniumを使ってページ読み込み中にクエリの一覧を取得したい

TensorFlowには下記のような概念・やり方があって,いつも馬鹿馬鹿しいと思っています。
 Variable scoping
 placeholders
 sessions

当然それなりの存在理由・メリットがあるはずです。
ただ、調べても、手続きとして説明されたばかりで、『絶対必要』とする理屈に関する説明を得ませんでした。
上記三つの項目の必要性をご説明いただけませんか。

おおざっぱな推測ですが、もし『能率アップのためだ！』ということであれば、　　
PyTorchにはこのような仕組みがなくても、同じ環境と問題でTensorFlowより早いという記事が見たことがあります。
現に逆な記事を見たことはありません。
これに関するご説明もいただければ嬉しいです。

TensorFlowのわけ

機械学習の練習でjupyternotebooksを利用しています。

https://www.kaggle.com/c/dogs-vs-cats-redux-kernels-edition
を試しに動かしているのですが、
```
nb_epoch = 10
batch_size = 16

class LossHistory(Callback):
    def on_train_begin(self, logs={}):
        self.losses = []
        self.val_losses = []
        
    def on_epoch_end(self, batch, logs={}):
        self.losses.append(logs.get('loss'))
        self.val_losses.append(logs.get('val_loss'))

early_stopping = EarlyStopping(monitor='val_loss', patience=3, verbose=1, mode='auto')

def run_catdog():
    
    history = LossHistory()
    model.fit(train, labels, batch_size=batch_size, epochs=nb_epoch,
              validation_split=0.25, verbose=0, shuffle=True, callbacks=[history, early_stopping])
    

    predictions = model.predict(test, verbose=0)
    return predictions, history

predictions, history = run_catdog()
```
部分で、どうしても
```
The kernel appears to have died. It will restart automatically.
```
と表示されてしまいます。

PCスペック
macOS Mojave
バージョン：10.14.4
プロセッサ：2.7 GHz intel core i5
メモリ：8GB

です。

過去
https://teratail.com/questions/144645
という部分で解決方法がありましたが、

jupyternotebooks
で上記問題を解決するには、高スペックPCが解決ということなのでしょうか？

他、妙案ありましたらお願いします。

jupyternotebooksでのkernel errorが解決できない

### jupyter使用時のメモリについて

最近、メモリを多く使う変数などをpythonで扱っているのでメモリが足りない
ことが多くて困っています。
そこでタスクマネジャーを見ながらメモリの使用状況を確認しつつ作業をしていたところ、
https://qiita.com/AnchorBlues/items/883790e43417640140aa
上記のサイトでdelを用いてメモリが大きいものを消してメモリを解放させよう的なことを言っているのですが、
そもそも、delで消してもメモリの数値は変わりませんでしたし、上記のサイトでメモリとされているものはメモリではないと思います。
なぜなら100000という値と1という値が同1として表されているから。

そこで、変数を消してメモリを増やす方法と今どのくらいメモリを消費しているかわかるようなライブラリはあるのでしょうか？

知っている方がいれば教えていただけると恐縮です。

jupyter使用時のメモリについて

NTTのBizメール＆ウェブ ビジネス（ライト）で
短期間に２回攻撃を受けました。

海外のお客様に向けたコンテンツもあるので
海外IP制限はかけたくないのですが
複数レンタルサーバで運営していて
このサイトだけ攻撃を受けるので困っています。

お客様が契約されているサーバで、
あまり根本的な対応は難しいのですが
（長く使われていて新旧ファイルごちゃごちゃ。。）
何かできることがあれば、と思っています。

主な用途はメールの送受信とwordpressサイトの公開です。
よろしくお願いします。

DoS攻撃を受けにくいサイトとは

やりたいこと
---
Python3で競プロをやっているのですが、多くの問題ででてくる
N
a1 a2 a3 ... aN
という入力方法がわかりません。
また、前提として、この入力方法は、空白区切りです。
やってみたこと
---
空白区切りの入力方法として、以下のことをやってみました。
```python
A, B = map(int,input().split())
```
そして、複数入力として、以下のことをやってみました。
```python
N = int(input())
a = []
for i in range(N):
    a.append(input())
print(a)
```
ここから先が分かりません。

Python3で複数&空白区切りで入力したい。

> pythonの問題を解いていました。以下のようなエラーが出ました。分からないです。
```python
>>> c=list(map(lambda x,y:x+y,[[(x,y) for y in [12,34]] for x in [34,78]]))
  File "<stdin>", line 1, in <module>
TypeError: <lambda>() missing 1 required positional argument: 'y'
>>>
```

lambdaエラー missing...argument

最近データベースにハマっているのですが、sqlで関数とかストアドプロシージャとかを使えば、表示以外の部分をほとんどデータベース層でできるのでは無いかと思いました。
デメリットがないならそのように開発したいです。
なにかありますか？
フロントエンドにjsでweb3層のアプリケーション層がデータベースかjsにあるようにすればRailsとか必要ないのでは？

ロジックをデータベースで処理するのかサーバーサイドのアプリでやるのかクライアントサイドのアプリでやるのか

DjangoでAPIを叩くAPIを実装しているのですが、文字コード関連のエラーが出力されてしまいます

以下が処理の流れで、No.2が実装対象です

1. クライアント(コンソール)がPOSTメソッドでリクエストボディに '{"test": "はろー"}' を含めて送信
2. リクエストボディ '{"test": "はろー"}'の"はろー"を取得して、叩くAPIのリクエストボディに含めて送信
3. jsonが返却される

リクエストボディのvalueが"はろー"ではなく"hello"などアルファベットの場合はエラーは出力されません
乱文で申し訳ありませんが、よろしくお願いします。

###試したこと
'# -*- coding: utf-8 -*-の記述や、デフォルトをutf-8に変更しても変化がありませんでした



###環境
CentOS7.6
Django2.1
Python3

terateam(クライアント)


###エラー
```
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 20-22: Body ('はろー') is not valid Latin-1. Use body.encode('utf-8') if you want to send it encoded in UTF-8.
```


###クライアントのcURLコマンド
```
curl -XPOST http://192.168.1.01:8000/ -H "Content-type: application/json" -d '{"test": "はろー"}'
```

###リクエストの処理
```
def test(request):

	if request.method == 'POST':
	
		req_decode = request.body.decode('utf-8')
        req = json.loads(req_decode)

        value = req['test']
        
        url = 'http://fqdn(API)/'
        header = {'content-type':'application/json'}
        body = '{"test": "'+value+'"}'
        
		res = requests.post(url, headers=header, data=body)
		return render_json_response(request, res.json())
```
###返す時
```
def render_json_response(request, data, status=None):
    """response を JSON で返却"""
    json_str = json.dumps(data, ensure_ascii=False, indent=2) #indent=2

    response = HttpResponse(json_str, content_type='application/json; charset=UTF-8', status=status)
    return response

```

Python３で文字コード関連のエラーが出てしましました

PythonでのExcel操作について質問させてください。
Pythonについては超初心者なので何卒宜しくお願い致します。

◆事象
Excelファイルオープン
↓
マクロ実行
↓
ファイルクローズ(保存しないで閉じる)

上記の流れでコードを実行した際にクローズがうまくできずにテンポラリファイル状態で半透明のアイコンのままコードが終了してしまいます。

ためしたこと
---
- オープン、クローズがうまくいくパターン
①マクロを実行しないでオープン、クローズのみの場合
②他ファイルのマクロ実行→クローズの場合(単なるファイル移動マクロです)
※②のマクロに移動後セルに「○」を書き込むコードを追加したら上記事象と同じく、うまくクローズできませんでした

- 保存して閉じる(SaveChanges=1)の場合でも変わらない
- Close→closeに変更すると「保存しますか」のダイアログが出てしまう

◆コードはPycharmにて書いてます

下記コードにて指摘箇所ございましたらご指導のほど、宜しくお願い致します。
```
import os
import win32com.client
import shutil

macro_path = r'C:\Users\○○.xlsm'

def run_macro(macro_path):
    macro_wb = macro_path 

    if os.path.exists(macro_wb):
        xl = win32com.client.Dispatch("Excel.Application")
        xl.Workbooks.Open(os.path.abspath(macro_path), ReadOnly=1)
        xl.Application.Run("'○○.xlsm'!Main")
        xl.Workbooks(1).Close(SaveChanges=0)
        xl.Application.Quit() 
        del xl

if __name__ == '__main__': 
    run_macro(macro_path)
```

PythonでExcelファイルがうまく閉じない

### 前提・実現したいこと
python 3.5です。
selenium（バージョン3.7.0）で入力項目をセットしclick()を実行後、WebDriverWaitのtitle_containsで待つようにしていますが、入力によりタイトルが異なるサイトがあります（なおその異なるタイトルに重複する文字列はありません）。
このような場合のためにWebDriverWaitで複数の条件を指定する方法がありましたらご教授ください。
よろしくお願いします。

### 該当のソースコード

```ここに言語名を入力
WebDriverWait(driver, 10).until(EC.title_contains("タイトル"))

ここで"タイトル"を複数指定する方法はありますでしょうか？
```

seleniumのWebDriverWaitで複数の条件を指定するには

```
git checkout -b hoge origin/hoge
```

と

```
git fetch
git checkout hoge
```

上はリモートにあるブランチhogeをもとにローカルにhogeブランチを新規作成。
下はリモートの情報を更新、ブランチ移動。

こういう風に理解しているのですが、あってますか？

そこで質問なんですが、
リモートにあるが、ローカルにないブランチで作業したいとき、
どちらが良いのでしょうか。
また、どう違うのでしょうか？
（運営上でこういう問題が発生する可能性があるとかそういうのがあれば教えていただけますと幸いです）

よろしくお願いします。

git checkout -b と git fetch & git checkout の違い

python3を用いて2クラス分類をしています。
データ数は約140ほどしかなく、クラス0が１３５つ、クラス1が5つほどの偏りがあります。
普通の機械学習では全てを０に分類することで良い精度となっている状態だったため、mbalanced-learnのSMOTE(Synthetic Minority Over-sampling Technique)により均衡データにすることを試みました。
トレーニングデータとテストデータに分けてトレーニングデータにsmoteをかけようと思いましたが、分けた後のトレーニングデータにラベル１の個数が少なすぎて、エラーとなってしまいました。
そこでデータを分ける前の全体にsmoteをかけたのちトレーニングデータとテストデータに分け学習、テストを行ったところ、f値はとてもよくなりました。
ここで質問です。良い精度が得られたのはテストデータに入っているラベル１のデータがトレーニングデータにも共通してしまっているせいなのでしょうか。smoteでラベル１を増やす方法について、全く同じものを複製しているのではないという認識ですが、やはり分ける前の全データに適応してしまうのは誤りでしょうか。

不均衡データにおける機械学習

### 機械学習を行う際に扱う変数の取り扱いについて教えてください
現在、sklearnのsvc使ってデータのクラス分けをしていて疑問に思ったことがあります。
学習に用いるデータの値が３桁の整数の場合と３桁の浮動小数点の場合学習速度が変わるのかなとふと疑問に思いました。
例）
１２３　｜　　１．２３
３４５　｜　　３．４５
３５６　｜　　３．５６
　・　　　｜　　　　・
　・　　　｜　　　　・
　・　　　｜　　　　・
３４２　｜　　３．４２
３４５　｜　　３．４５

自分の考察としては本当に単純で、「小さい数字のほうが早いんじゃないか」と思うから浮動小数点数を使ったらいいと考えています

機械学習を行う際に扱う変数の取り扱いについて教えてください

pip3を使用してdrfapikeyというモジュールをインストールしたのですが、```ModuleNotFoundError```が出ています。

```
sudo pip3 install drfapikey
```
上記コマンドを実行すると、
```
The directory '/home/●●●/.cache/pip/http' or its parent directory is not owned by the current user and the cache has been disabled. Please check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.
The directory '/home/●●●/.cache/pip' or its parent directory is not owned by the current user and caching wheels has been disabled. check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.
```
上記のメッセージが出ているのですが、インストール自体はできています。
これまでにpip3を使ってインストールしたモジュールなどは、
```
/home/●●●/.local/lib/python3.6/site-packages/
```
というディレクトリに入っているのですが、今回のインストール先を確認したところ、
```
/usr/local/lib/python3.6/dist-packages
```
というディレクトリに入っておりました。
コンソール上でpython3と打ち、インタプリタを起動すると、
```
import drfapikey

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'drfapikey'
```
となってしまいます。

PYTHONPATHが通っていない、などの原因があるようなのですが、これまでに```sudo pip3 install```してきたものは問題なく使えていました。

上記のようなエラーが出る原因は何なのでしょうか？
また、どのようにすれば使えるようになるのでしょうか？
ご教示いただけますと幸いです。よろしくお願いいたします。

pip3のインストール先を変えたい

### 前提・実現したいこと

内容の理解できない部分を理解したい


### 発生している問題・エラーメッセージ
みんなのpython P350の写経なのですがメソッド.データ.メソッド()の順になっていて何故これでよいとされているのかが理解できません。P156のメソッド呼び出しの記法でもデータ.メソッド名(引数)と書かれています)
エラーメッセージ
無し

### 該当のソースコード

ソースコード
from urllib import request
src = request.urlopen("https://www.python.org/").read()

### 試したこと
再び当該ページを参照。

### 補足情報（FW/ツールのバージョンなど）

特になし