常連

質問力

自己紹介

PyTorchで自作のデータセットでセグメンテーションをしています。
バッチサイズごとのデータの取り出しなどの、データ周りはDataset、DataLoaderのクラスを使って学習まではしたのですが、推論の使い方がわかりません。
Datasetの方は__getitem__の実装をするとき、実際のデータと正解ラベルを格納すると思います。trainとtestは使うのですが、推論(eval)時はラベルデータがありません。
evalの時はDatasetやDataLoaderクラスは使わないのでしょうか。どうラベルデータがないevalのコードを実装するかわからないので、方針と、できればサンプルになるコードがあれば教えていただきたいです。trainとtestのコードは見つかるのですが、evalのコードがなかなか見つかりませんでした。
今はdataloaderから画像を取ってきてモデルを定義しているクラスに渡しています。

PyTorchで推論をするときのDataLoaderやDatasetの実装

###前提・実現したいこと
pythonで画像の色変換を行いたいのですが，
opencvのimreadで画像を読み込み，
例えば[R,G,B]=[255,0,0]の画素を[R,G,B]=[0,0,255]にしようとプログラムを組んでいるのですが，
numpyのwhere等を使って一括で変換する方法ってありますか？
現状は，ループで1画素ずつ判定して行っています．

###該当のソースコード
```python
import sys,cv2
import numpy as np

args = sys.argv
img = cv2.imread(args[1])

find_color = np.array([255,0,0])
change_color = np.array([0,0,255])

height,width,channels = img.shape
img2 = np.empty((height,widht,channels))

for y in range(height):
    for x in range(width):
        if np.allclose(img[y,x,:],find_color[-1::-1]):
            img2[y,x,:] = change_color[-1::-1]

cv2.imwrite("result.png",img2)
```

###試したこと

```python
img2 = np.where( np.allclose(img[:,:,:],find_color[-1::-1]), change_color,img)
cv2.imwrite("result.png",img2)
```
とやりましたが，上手く行かなかったため，for文で一画素ずつ行っています

python，OpenCV，numpyによる色抽出・変換

### 前提・実現したいこと

正規表現を使って文字列(日付)を捕まえたいのですが、エラーが出ます(涙
ちなみにtimeの中には　2018-06-28 13:40:30　が入っています年+日付の部分を取り出したいです

### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "I:\Python\get_tweet_spread.py", line 38, in <module>
    print(re.findall('[0-9]{4}-[0-9]{2}-[0-9]{2}',time))
  File "C:\Users\domison\AppData\Local\Programs\Python\Python36\lib\re.py", line 222, in findall
    return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object
```

### 該当のソースコード

```Python
day = re.findall('[0-9]{4}-[0-9]{2}-[0-9]{2}',time))

```

Pythonで正規表現を使った文字列の発見

### 前提・実現したいこと
Webスクレイピングとエラーを直したいです．

### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "19.3.6.title.py", line 104, in <module>
    nikkei_heikin2 = (soup.select_one("#content > table > tbody > tr:nth-child(2) > td:nth-child(3)").text)
AttributeError: 'NoneType' object has no attribute 'text'
```

### 該当のソースコード

```Python
# アクセスするURL
    url = "https://www.spamcop.net/w3m?action=inprogress"

    # URLにアクセスする htmlが帰ってくる 
    html2 = urllib.request.urlopen(url)

    # htmlをBeautifulSoupで扱う
    soup = BeautifulSoup(html2, "html.parser")

    nikkei_heikin2 = ""

    nikkei_heikin2 = (soup.select_one("#content > table > tbody > tr:nth-child(2) > td:nth-child(3) > a").text)

```

### 試したこと

soup = BeautifulSoup(html2, "html.parser")→
soup = BeautifulSoup(html2.read(), "html.parser")

あるサイトには，"原因はaタグしか入れていないリストの要素からaタグを取り出そうとしていたこと。ネストされている要素の場合は問題ない。"
と書かれていた．

### 補足情報（FW/ツールのバージョンなど）
https://www.spamcop.net/w3m?action=inprogress
上のサイトにブラックリストのIPアドレスの一覧が載っています．
![イメージ説明](867552ae2db3b4907ce13a6404ddb4b9.png)

そのIPアドレスを抜き出すために，chromeでCSSセレクターを自動生成し，soup.select_oneに代入しています．

時間がある時に質問に答えて頂けたら嬉しいです．
よろしくお願いします．

PythonでCSSセレクター(Chromeの自動生成)がうまくいかないです【Webスクレイピング】

## グーグル画像のスクレイピングをしたいがcssセレクタの指定に躓く。

```python
import requests
from requests.compat import urljoin
from bs4 import BeautifulSoup
from PIL import Image


url = "https://www.google.co.jp/search?q=%E5%BA%83%E7%80%AC%E3%81%99%E3%81%9A&rlz=1C1CHZL_jaJP719JP719&source=lnms&tbm=isch&sa=X&ved=0ahUKEwim2r2yqbPbAhWBGJQKHWjbAxkQ_AUICigB&biw=1745&bih=863#imgrc="
response = requests.get(url)
response.encoding = response.apparent_encoding
bs = BeautifulSoup(response.content, 'html.parser')
div_simple_rows = bs.select('.rg_bx rg_di rg_el ivg-i')
print(div_simple_rows)


```
## 試したこと
サイト画面の「検証」を右クリックしてhtml内の欲しい画像のclass(rg_bx rg_di rg_el ivg-i)を指定。
select('.rg_bx')をselect('div.rg_bx')に変更。

親である "div class med" や "id search" なら('.med'), ('#search')の形式でスクレイピング出来る。

## 知りたいこと
上記の画像の取得するためにcssセレクタの形式の直接的な取り方と、取れたり取れなかったりする場合の
対応の仕方、正確な指定をするためのやり方をお願いします。

BeautifulSoupのcssセレクタを使ったスクレイピングについて

### やりたいこと

お世話になっております。
現在スクレイピングを検討していて、Qiitaの記事などで多くあるように、
beautifulsoup4  と　requests
でやろうとしています。


今のコードはこんな感じでスクレイピングの関数を作っていて、

```python
def scraping(url):
  html = requests.get(url)
  soup = BeautifulSoup(html.text, "html.parser")

  results_title = soup.find("table", id="lineup").find_all("h2", class_="title")
  sleep(1)
  results_company = soup.find("table", id="lineup").find_all("h3", class_="company")
  sleep(1)
  results_span = soup.find("table", id="lineup").select("div > span")
  sleep(1)
  results_link = soup.find("table", id="lineup").select("h2 > a")
  sleep(1)
```

さらにそれを使った```main()```という関数を記述しています。

```Python
def main(url):
  scrayping(url)
  
  # 以下出力したり、リストにしたりの処理

```

### 聞きたいこと

今回ご教授願いたいのは、BeautifulSoup4が（requestsが？）どのタイミングで相手のwebサイトにアクセスしているかという事です。

多くの記事では相手側のサーバーに負荷をかけないように、```sleep()```等で待機時間を設けるべきと書いてありますが、どの処理の箇所に記述するのが適切なのかわかっていません。
現在のコードで合っているのでしょうか？

・アクセスするのは```soupオブジェクト```を使って検索する度になのか
・最初に```requests.get()```を使うときだけなのか
・それ以外なのか

教えていただければ幸いです。
根本的なことでもうしわけありません。

現在の理解ではsoup.find()などを使う度にsleep()が必要なのだ思っておりますので、このプログラムでは実行するごとに合計4回アクセスするのだと思っております。
よろしくお願いいたします。