常連

注目の的

社会貢献

質問力

質問者

自己紹介

Python 3.4.3 で作業をしております。


seedメソッドの動きについて調べていたところ以下のような記述がありました。

> np.random.seed
> の引数を指定してやれば毎回同じ乱数が出る
> ※引数の値は何でも良い

そのため、以下のように動作させてみたところ、毎回違う乱数が発生します。

今回はseedの引数を0にしておりますが、これを100にしたりしてもやはり
毎回違う乱数が発生します。

```
>>> from numpy.random import *
>>> import numpy as np
>>> N = 100

>>> np.random.seed(0)

>>> np.random.randn(N, 2)
array([[ 1.76405235,  0.40015721],
       [ 0.97873798,  2.2408932 ],
       [ 1.86755799, -0.97727788]])
>>> np.random.randn(N, 2)
array([[ 0.95008842, -0.15135721],
       [-0.10321885,  0.4105985 ],
       [ 0.14404357,  1.45427351]])
>>> np.random.randn(N, 2)
array([[ 0.76103773,  0.12167502],
       [ 0.44386323,  0.33367433],
       [ 1.49407907, -0.20515826]])
```


私のやり方で何かおかしなところがあるのでしょうか？

それともそもそも

> 毎回同じ乱数が出る

というのは私のイメージしている同じ乱数とはちがうのでしょうか？



私は以下のような結果が出てくるのかと思ってました。

```
>>> np.random.randn(N, 2)
array([[ 0.76103773,  0.12167502],
       [ 0.44386323,  0.33367433],
       [ 1.49407907, -0.20515826]])

>>> np.random.randn(N, 2)
array([[ 0.76103773,  0.12167502],
       [ 0.44386323,  0.33367433],
       [ 1.49407907, -0.20515826]])

>>> np.random.randn(N, 2)
array([[ 0.76103773,  0.12167502],
       [ 0.44386323,  0.33367433],
       [ 1.49407907, -0.20515826]])

```

どなたか教えて頂けないでしょうか？
宜しくお願いします。

np.random.seed() で引数に数値を入れたら、乱数を固定してくれるはずなのに固定されませんでした。なぜでしょうか？

二つのリスト（辞書型）があります。
```ここに言語を入力
s1 = {"aaa":"http://aaa","bbb":"http://bbb","ccc":"http://ccc","ddd":"http://ddd"}
s2 = {"eee":"http://eee","aaa":"http://aaa","bbb":"http://bbb","fff":"http://fff"}
```
これをs2にあってをs1に無いものを抽出したいのです。
つまり、上記を例にしたら
```
{"eee":"http://eee","fff":"http://fff"}
```
の二つです。
調べたところ　diffrence　などを使えば良いようなのですが、辞書型に使おうとしてみていますが上手くいきません。
最低限keyである"aaa"や"ddd"などの比較でできれば何とか次に進めそうです。
皆さんの知識をお貸し頂けないでしょうか？
よろしくお願いいたします。

2つの辞書型を比較して差分を抽出したい（python）

とあるWebサイトからデータを取得しようとしているところです。
☆環境
・Windows7
・Anaconda/Jupyter Notebook
・Python3

☆要件
・PythonでRequestsモジュールとBS4モジュールで取得したデータのうち、リンク名とリンク先URLを取得しようとしています。
・取得した値は、zip関数でまとめて、for文で取り出したあとに、csvモジュールで、csvファイルの1列目と2列目に格納します。
・最終的には、csvファイルのデータは、[link_name, link_url]で表現できるようにしたいです。

☆課題
・現状、for文で取り出したデータは、30件ずつできあがる予定ですが、途中の2件のみ取得して、次の処理に進もうとしてしまいます。
・zip関数でまとめずに、それぞれでfor文を使うと30件ずつしっかりと取得できるので、zip関数の扱いがまちがっていると仮説しています。
・zip関数を使わずにそれぞれでfor文を使って、csvファイルのデータを[foo, bar]で表現できるなら、そのようにしたいです。
・正直、丸1日ほど悩んだのですが全く糸口が見つからない状況です。
・また、上記の方法ではなくとも、リンク名とリンク先URLを同じ行にセットで表現できる方法があるなら、ご教示いただきたいです。

よろしくお願いいたします。



```Python
import requests
from bs4 import BeautifulSoup
import time
import json
import csv
from urllib import parse


### bs4 config
BASE_URL = "https://www.example.com/?page="
HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}

def get_page(base):
    for page_num in range(1, 100):
        res = base + str(page_num)
        yield res

with open("list_data.csv", "w", newline=""):
    pass
        

for url in get_page(BASE_URL):
    html_doc = requests.get(url, headers=HEADERS)
    if html_doc.status_code == 200:
        print("success")
        print(url)
        
        html = html_doc.text
        beautiful = BeautifulSoup(html)

        for x, a in zip(beautiful.find_all("span", "className"), beautiful.find_all("a")):

            parse_result = parse.urlparse(a.get("href")).path
            res = parse_result.replace("/", "").replace("foobar1", "")
            
            if "foo1" in res:
                res = res.replace("foo1", "")
            if "bar1" in res:
                res = res.replace("bar1", "")
            if "foo2" in res:
                res = res.replace("foo2", "")
            if "bar2" in res:
                res = res.replace("bar2", "")
            if "foobar2" in res:
                res = res.replace("foobar2", "")
            if "common_num" in res:
                pass
            else:
                continue
            
            print(x.text, res)

            with open("list_data.csv", "a", newline="") as f:
                writer = csv.writer(f)
                print(x.text, res)
                writer.writerow([x.text, res])
            
    else:
        print("failed")
        break
    time.sleep(5400)
```

PythonによるWebスクレイピングで一部しか取得ができない

### 前提・実現したいこと
python3
seleniumでスクレイピング中、度々タイムアウトエラーに陥るので
タイムアウトの時にリトライさせたいのですが、
どんなコードを書けばいいのかわかりません。

### 発生している問題・エラーメッセージ
Traceback (most recent call last):
  File "C:/pycharm/kabusyutoku.py", line 21, in <module>
    btn.click()
  File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webelement.py", line 80, in click
    self._execute(Command.CLICK_ELEMENT)
  File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webelement.py", line 628, in _execute
    return self._parent.execute(command, params)
  File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 320, in execute
    self.error_handler.check_response(response)
  File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: timeout
  (Session info: chrome=68.0.3440.106)
  (Driver info: chromedriver=2.40.565498 (ea082db3280dd6843ebfb08a625e3eb905c4f5ab),platform=Windows NT 6.1.7601 SP1 x86_64)


### 該当のソースコード
```python3
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.common.by import By
import time


driver = webdriver.Chrome("E:/Users/chromedriver_win32/chromedriver.exe")
driver.get("https://kabuoji3.com/stock/")

入力画面のURL取得
cur_url = driver.current_url

for i in range(1598,9999):
    form = driver.find_element_by_class_name("form_txt")
    form.send_keys(i)

    検索ボタンクリック
    time.sleep(0.5)
    btn = driver.find_element_by_css_selector("#base_box > div > form > button.btn_form.btn_submit")
    btn.click()


    企業名を探す　True→銘柄クリック　False→次の企業へ
    meigara = driver.find_elements_by_css_selector("#base_box > div > div.data_contents > div > div > div > table > tbody > tr > td:nth-child(1) > a")
    if meigara:
        meigara[0].click()
        cur_url2 = driver.current_url

        2018年クリック
        wait = WebDriverWait(driver, 60)
        wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > ul > li:nth-child(2) > a")))
        data = driver.find_element_by_css_selector("#base_box > div > ul > li:nth-child(2) > a")
        time.sleep(0.5)
        data.click()
        ダンロードリンククリック
        wait = WebDriverWait(driver, 60)
        wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > div:nth-child(3) > form > button")))
        download = driver.find_element_by_css_selector("#base_box > div > div:nth-child(3) > form > button")
        time.sleep(0.5)
        download.click()
        ダウンロード
        wait = WebDriverWait(driver, 60)
        wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > div.mt_10.tc > form > button")))
        downloader = driver.find_element_by_css_selector("#base_box > div > div.mt_10.tc > form > button")
        time.sleep(0.5)
        downloader.click()
        time.sleep(1)

        画面を戻して2017年をクリック 2017が無い時はスルー
        driver.implicitly_wait(60)
        driver.get(cur_url2)
        data = driver.find_elements_by_css_selector("#base_box > div > ul > li:nth-child(3) > a")
        if data:
            data[0].click()

            ダンロードリンククリック
            wait = WebDriverWait(driver, 60)
            wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > div:nth-child(3) > form > button")))
            download = driver.find_element_by_css_selector("#base_box > div > div:nth-child(3) > form > button")
            time.sleep(0.5)
            download.click()
            #ダウンロード
            wait = WebDriverWait(driver, 60)
            wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "#base_box > div > div.mt_10.tc > form > button")))
            downloader = driver.find_element_by_css_selector("#base_box > div > div.mt_10.tc > form > button")
            time.sleep(0.5)
            downloader.click()
            print(i,"完了")
            #銘柄入力画面に戻る
            driver.implicitly_wait(1)
            driver.get(cur_url)

        else:
            print(i,"は2017年は無し")
            driver.implicitly_wait(1)
            driver.get(cur_url)

    else:
        wait = WebDriverWait(driver, 10)
        wait.until(expected_conditions.element_to_be_clickable((By.CLASS_NAME, "form_txt")))
        form2 = driver.find_element_by_class_name("form_txt")
        form2.clear()
        print(i , "は無し")
```
### 試したこと
クリックさせる前に下記の関数で待ち時間を作ってみましたが、タイムアウトエラーは解決しませんでした。
time.sleep

implicitly_wait

wait = WebDriverWait(driver, 10)
    wait.until(expected_conditions.element_to_be_clickable((By.CLASS_NAME, "form_txt")))


ご解答お待ちしています。
上記の解決方法、ご教授いただけますようお願いいたします。

python seleniumでタイムアウトになった時、リトライしたい。

### 前提・実現したいこと
pythonのpandasで特定の文字列を含む行を削除するコードが正常に機能しないです。

### 発生している問題・エラーメッセージ
以下のtxtファイル(かなり量が多いので...で行を省略しています)
...
1056784,3,1,1,1,2,1,2,1,1,2
1057013,8,4,5,1,2,?,7,3,1,4
1059552,1,1,1,1,2,1,3,1,1,2
...
に対して

```Python3
import numpy as np
import pandas as pd
data = np.loadtxt('./breast-cancer-wisconsin.txt', delimiter=',',dtype='str')
df = pd.DataFrame(data)
```
を使用してdfにデータを格納後、不正な文字列'?'が存在していることに気づきました。
全部6列目にあったのでこれを消すために
```Python3
df[~df[6].str.contains('?')]
```
として文字列'?'を消去しようとしたのですが、以下のエラー文が出てきました。
```
*** re.error: nothing to repeat at position 0
```
str.contains()の中身を'1'や'2'で試すと上手くいくのですが'?'の時にエラーが出ます。
分かる方がいらっしゃいましたら教えて頂けると嬉しいです。
ちなみに、もう少し細かいdfの中身は以下の通りです。(25行目まで出力、23行6列に該当の?が存在します。)
![イメージ説明](b53dbecbee0b14cdb8040ba55b44b090.png)

### 補足情報（FW/ツールのバージョンなど）
Anaconda
python3.7.3
MacBook (Retina, 12-inch, Early 2016)

Pythonのpandasを使って'?'の文字列が含まれている行を削除したい

###具体的な質問

csv形式のn行２列のファイルから、２列目だけを読み込む方法を教えていただきたいです。
色々調べて、pandasというのを使えばできそうな気がしたのですが、上手く実装できませんでした。
詳しい方よろしくお願いいたします。

###簡易図
以下のようなcsvファイルがあるのですが、△の列だけを読み込みたいです。

〇 , △　　　　　　
〇 , △
〇 , △
〇 , △
〇 , △
〇 , △

csvファイルを読み込む際に列指定する方法を教えてください。

### 前提・実現したいこと
python3、seleniumを使って、モーダルウインドウを消したいです。

[こちらのURL](https://mt4.xmtrading.com/)にアクセスした時に出る、
モーダルウィンドウのボタンをクリックし、ウィンドウを消したいです。
具体的には、「本ウェブサイトはクッキーを利用します」というウィンドウで、「続行する」というボタンを押したいです。


### 該当のソースコード

```python
from selenium import webdriver
from time import sleep

driver = webdriver.Chrome()

driver.get("https://mt4.xmtrading.com/")
sleep(5)
btn = driver.find_element_by_xpath('//*[@id="cookieModal"]/div/div/div[1]/div[2]/div[2]/div/button')
btn.click()

```

### 試したこと

１．Xpathで要素を見つけてクリックする。
コードは上記の通りです。
→エラーはでないが、モーダルウインドウも消えない。

２．クリックする要素をbuttonからdivに変える
→エラーはでないが、モーダルウインドウも消えない。

３．iframeに移動後、要素を見つけてクリックする。
→NoSuchElementException
iframe内に書かれているわけではないので、当然ですが。。

４．ActionChainsを使って、要素へ移動した後、クリックする
```python
from selenium import webdriver
from time import sleep
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()

driver.get("https://mt4.xmtrading.com/")
sleep(3)

btn = driver.find_element_by_xpath('//*[@id="cookieModal"]/div/div/div[1]/div[2]/div[2]/div/button')
actions = ActionChains(driver)
actions.move_to_element(btn)
actions.click()
actions.perform()
```
→エラーはでないが、モーダルウインドウも消えない。

５．switch_to_alertを使う
```python
alert = driver.switch_to_alert()
alert.accept()
```
→NoAlertPresentException: Message: no such alert


６．switch_to.windowを使う
```python
driver.switch_to.window(driver.window_handles[1])
```
→IndexError: list index out of range
新しいウィンドウが開かれているわけではない。

７．[こちらのページ](https://qiita.com/DNA1980/items/528ff6269986b262acdc)を参考に、以下の1行を追加し、スクロールした後に要素をクリック。
```python
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")　#こちらの1行を追加
btn = driver.find_element_by_xpath('//*[@id="cookieModal"]/div/div/div[1]/div[2]/div[2]/div/button')
btn.click()
```
→エラーはでないが、モーダルウインドウも消えない。

８．クリックではなく、Escapeキーを押す
```python
from selenium.webdriver.common.keys import Keys

actions = ActionChains(driver)
actions.send_keys(Keys.ESCAPE).perform()
```
→エラーはでないが、モーダルウインドウも消えない。


色々試しましたが、解決方法がわかりません。
お分かりになる方がおりましたら、何卒宜しくお願い致します。

selenium、ボタンをクリックして、モーダルウインドウを消したい。

Pythonを使いスクレイピングのコードを書いています。
https://www.gucci.com/jp/ja/ca/men/mens-ready-to-wear-c-men-readytowear
このサイトの商品ごとのURLを抽出したいのですが、このページは一度「全てを表示」ボタンを押すことで
全ての商品が表示されます。
また、商品のコンテンツが36個毎に分割されており、下にスクロールしていくと
URLの末尾に数字が付与されていき、URLが変わっていきます。

seleniumを使い、「全てを表示」ボタンを押し、抽出したのですが末尾に「2」が付与されるページまでの情報しか
抽出できませんでした。

何かいい方法はあるでしょうか？

```Python
url = 'https://www.gucci.com/jp/ja/ca/men/mens-ready-to-wear-c-men-readytowear'
from selenium import webdriver
browser = webdriver.Chrome("/Users/〜/chromedriver")
browser.implicitly_wait(10)
browser.get(url)
links = browser.find_elements_by_css_selector('.ajax-loader-link-container> a')
links[0].click()
new_window = browser.window_handles[0]
browser.switch_to_window(new_window)
item_links = browser.find_elements_by_css_selector('a.product-tiles-grid-item-link')
print(len(item_links))
```

Python スクレイピング スクロールしなければ全ての情報が出てこないサイトのデータ抽出方法

Python seleniumで以下の要素の値を取得したいと考えております。


```
<div class="conversation ng-scope layout-align-center-center layout-row" 
layout="row" layout-align="center center" ng-click="vm.expandItem($index)" 
ng-if="!vm.isItemExpanded($index)" role="button" tabindex="0" style="">
</div>
```
そこで、以下のようなコードを記述しているのですが、他にもconversationを含んだ要素があり、こちらの意図したもののみを取得することができません。
```
driver.find_element_by_class_name("conversation")
```
そこで、classにng-scopeも含む（conversation ng-scope両方含む）形でクラスを指定したいです。

どのようにすればよいかご教授いただけますでしょうか？

ご確認よろしくお願いいたします。

Python Selenium　で　要素　が複数のクラスを持っているときの指定の仕方

cloud9でchromedriverを使いたいのですが、うまくパスが通ってないのかエラーになってしまい困ってます。


```pyhton
from selenium import webdriver

#Chromeを起動
browser = webdriver.Chrome('/chromedriver')
#天気をを開く
browser.get("https://news.yahoo.co.jp/")
```

```pyhton
#エラーコード
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home
```

python cloud9 chromedriver

### 前提・実現したいこと

aタグのhref属性を使って、aタグに書かれたテキストを取り出したい。

```html
https://www.sample.jp/sapporo/
<a href='sapporo/'>札幌</a>
<a href='hakata/'>博多</a>
```
```html
https://www.sample.jp/hakata/
<a href='sapporo/'>札幌</a>
<a href='hakata/'>博多</a>
```
例えば、
'https://www.sample.jp/sapporo/'にアクセスした場合は、'札幌'という値を取りたい。
'https://www.sample.jp/hakata/'にアクセスした場合は、'博多'という値を取りたい。



### 該当のソースコード

以下のようなコードを書きました。
```python
from selenium import webdriver

area_list=['sapporo','hakata',]

driver = webdriver.Chrome()
for i in area_list:
    driver.get('https://www.sample.jp/'+ i +'/')
    
    area_tag=driver.find_element_by_xpath('//a[@href=i]')
    area=area_tag.text
    print(area)
driver.close()
```

### 発生している問題・エラーメッセージ
コンソールにエラーは出ませんが、取得した値はprintされません。

「area_tag=driver.find_element_by_xpath('//a[@href=i]')」
を
「area_tag=driver.find_element_by_tag_name('h1')」
に変えると、
h1のテキストがprintされます。

「area_tag=driver.find_element_by_xpath('//a[@href=i]')」が間違っているのだと思いますが、
どのように修正したら良いでしょうか？

お分かりになる方、宜しくお願い致します。