スクレイピングがうまく行きません

Question

###株価情報を取得したい
日本経済新聞のサイトから株価を取得して数値だけ抜き出そうと思っているんですがなかなかうまく行きません
どうしたら良いでしょうか
プログラミング初心者なのでできたら分かりやすく教えていただけますか

###エラーメッセージ

"C:\Program Files\Python36\python.exe" C:/Users/私のユーザー名/PycharmProjects/untitled1/venv/nikkei-io.py
  File "C:/Users/私のユーザー名/PycharmProjects/untitled1/venv/nikkei-io.py", line 17
    if string_ in "class="m-stockPriceElm_value now":
                          ^
SyntaxError: invalid syntax

Process finished with exit code 1

###該当のソースコード

#coding: UTF-8
import urllib.request
from bs4 import BeautifulSoup

url = "https://www.nikkei.com/nkd/company/?scode=6916"

html = urllib.request.urlopen(url)

soup = BeautifulSoup(html, "html.parser")

dd = soup.find_all("dd")

for tag in dd:

    try:
        string_ = tag.get("class").pop(0)
        if string_ in "class="m-stockPriceElm_value now":
            title_tag = tag string
            break
    except:

        pass

print(title_tag)

###その前にやったこと

#coding: UTF-8
import urllib.request
from bs4 import BeautifulSoup

url = "https://www.nikkei.com/nkd/company/?scode=6916"

html = urllib.request.urlopen(url)

soup = BeautifulSoup(html, "html.parser")

title_tag = soup.dd

print(title_tag)

でスクレイピングをすると

"C:\Program Files\Python36\python.exe" C:/Users/私のユーザー名/PycharmProjects/untitled1/venv/nikkei_io_test2.py
<dd class="m-stockPriceElm_value now">1,113<span class="m-stockPriceElm_value_unit"> 円</span></dd>

Process finished with exit code 0

と上記のような結果になります

数値だけ抜き出す場合どうしたら良いでしょうか

###補足情報(言語/FW/ツール等のバージョンなど)
Windows8.1
Python3.6.3
Pycharm

上記のプログラムで使っているサイト
日本経済新聞 アイ・オー・データ機器 株価
https://www.nikkei.com/nkd/company/?scode=6916

Answer 1

構文エラーなので、対象行の構文を見直してください。

プログラミング初心者なのでできたら分かりやすく教えていただけますか

初心者はスクレイピングをすべきではありません。

最低限、相手先のサーバに負荷をかけない程度のテストを自身で実施できるスキルが必要です。ローカルでのテストが完了し、コードに問題がないことが確認できるようになってから、スクレイピングは実施すべきです。

また、規約等で禁止されていないことを確認できる程度の法律知識も必要です。

Comments

[hyugasatsuman5]

忠告ありがとうございます！
気をつけます

[退会済みユーザー]

全然理解してないし、気をつけてもいないですね。。。

他者の管理するサイトへの機械的なアクセスは、ローカルでテストが完了してからにすべきです。
出来ないのであれば、スクレイピングなんて手を出すべきではありません。

[hyugasatsuman5]

分かりました
十分に理解してテスト行ってみます

Answer 2

if string_ in 'class="m-stockPriceElm_value now"':

classの直前に余計な記号が入っているせいです。

構文エラーしか直していませんでしたね。
引用符を使い分けてください。

Comments

[hyugasatsuman5]

回答ありがとうございます
下記のように訂正してみました

```Python
#coding: UTF-8
import urllib.request
from bs4 import BeautifulSoup

url = "https://www.nikkei.com/nkd/company/?scode=6916"

html = urllib.request.urlopen(url)

soup = BeautifulSoup(html, "html.parser")

dd = soup.find_all("dd")

taitle_tag = ""

for tag in dd:

try:
string_ = tag.get("class").pop(0)
if string_ in "m-stockPriceElm_value now":
title_tag = tag.string
break
except:

pass

print(title_tag)
```

しかし結果はこのようになってしまいました

```
"C:\Program Files\Python36\python.exe" C:/Users/私のユーザー名/PycharmProjects/untitled1/venv/nikkei-io.py
None

Process finished with exit code 0
```

[mkgrei]

文法エラーしか取り除けていませんでしたね。
修正しました。