Python3.6 のbeautifulsoup4かScrapyでｽｸﾚｲﾋﾟﾝｸﾞをしたい！

Question

ｽｸﾚｲﾋﾟﾝｸﾞについて。
プログラミング初心者です。ｽｸﾚｲﾋﾟﾝｸﾞは入門者用の例題しかやったことがありません。

方法はPython3.6 でbeautifulsoup4を使います。（Scrapyでも結構です）

https://shikiho.jp/tk/stock/info/9983#news_shikiho
↑このサイトの業績欄の右上14. 8の売上高「1,382,935」をｽｸﾚｲﾋﾟﾝｸﾞするには、
どのようなコードを実行すればいいですか？

http://bootcamp-text.readthedocs.io/textbook/7_scraping.html　
↑このサイトを参考にしましたが、そもそもHTMLがよくわかってないので、
タグなどのルールが理解できず大変苦労しております、、

アドバイスよろしくおねがいしますm(__)m

参考サイトの例題を見よう見まねで改良している最中のめちゃくちゃなコードですが。。↓

import requests
from bs4 import BeautifulSoup


def main():
    url = 'https://shikiho.jp/tk/stock/info/9983'
    res = requests.get(url)
    content = res.content
    soup = BeautifulSoup(content, 'html.parser')
    uriagedaka = soup.find_all('div', class_='gyouseki') #gyouseki?
    for @@@@@ in uriagedaka:  #for文の変数と値に何を入れればいいかわからない
        uriagedaka = gyouseki.td.a['href'] #href?
                print(uriagedaka)


if __name__ == '__main__':
    main()

補足：
↓こんな感じでやりたいです！！
https://qiita.com/hujuu/items/b0339404b8b0460087f9

Comments

[umyu]

作成中のプログラムソースコードを質問文に追記してくださいな。

[tuna.py]

すいません、かなりやりかけですが、追記しました。よろしくおねがいします！

Answer 1

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup


def get_response(url):
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
    return requests.get(url, headers={'User-Agent': user_agent}, timeout=2000)


def main():
    url = 'https://shikiho.jp/tk/stock/info/9983'
    soup = BeautifulSoup(get_response(url).content, 'html.parser')
    for syuyou in soup.find_all(class_='syuyou'):
        for tr_tag in syuyou.find_all('tr'):
            print('=' * 50)
            #他の値を取りたい時はこの部分のコメントを外して試行錯誤してみてくださいな。
            #print(tr_tag)
            print(tr_tag.th.text)
            if tr_tag.td is None:
                continue
            print('#' * 50)
            print(tr_tag.td.text)
            print('#' * 50)


if __name__ == '__main__':
    main()

□タグの調べ方
Google Chromeでサイトを開き→スクレイピングを行いたい部分を右クリック→検証をクリックで該当部分のタグが選択されます。該当部分の要素が含まれている親要素のclass やidを元にスクレイピングを行います。
質問文の場合、サイトにtable class="syuyou"が定義されているのでこれを使用します。

※スクレイピングの注意事項
1,サイトの規約で機械でのアクセス（スクレイピング）を禁止しているサイトがあります。
2,相手のサイトに負荷がかからないように、requests.get(url)を行う時は適宜 time.sleepをいれてくださいな。
3,株価情報は著作権情報として扱われる事が多いですその点留意してください。

Comments

[tuna.py]

すごい！感動しました！表示がめっちゃおしゃれですねｗ
詳細な回答とコメントどうもありがとうございました！！！