質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.37%

  • Python 3.x

    2398questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • Scrapy

    29questions

    Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

Python3.6 のbeautifulsoup4かScrapyでスクレイピングをしたい!

解決済

回答 1

投稿 2017/11/22 22:43 ・編集 2017/11/23 01:24

  • 評価
  • クリップ 0
  • VIEW 74

tuna.py

score 8

スクレイピングについて。
プログラミング初心者です。スクレイピングは入門者用の例題しかやったことがありません。

方法はPython3.6 でbeautifulsoup4を使います。(Scrapyでも結構です)

https://shikiho.jp/tk/stock/info/9983#news_shikiho 
↑このサイトの業績欄の右上14. 8の売上高「1,382,935」をスクレイピングするには、
どのようなコードを実行すればいいですか?

http://bootcamp-text.readthedocs.io/textbook/7_scraping.html 
↑このサイトを参考にしましたが、そもそもHTMLがよくわかってないので、
タグなどのルールが理解できず大変苦労しております、、

アドバイスよろしくおねがいしますm(__)m

参考サイトの例題を見よう見まねで改良している最中のめちゃくちゃなコードですが。。↓

import requests
from bs4 import BeautifulSoup


def main():
    url = 'https://shikiho.jp/tk/stock/info/9983'
    res = requests.get(url)
    content = res.content
    soup = BeautifulSoup(content, 'html.parser')
    uriagedaka = soup.find_all('div', class_='gyouseki') #gyouseki?
    for @@@@@ in uriagedaka:  #for文の変数と値に何を入れればいいかわからない
        uriagedaka = gyouseki.td.a['href'] #href?
                print(uriagedaka)


if __name__ == '__main__':
    main()

補足:
↓こんな感じでやりたいです!!
https://qiita.com/hujuu/items/b0339404b8b0460087f9

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • umyu

    2017/11/22 23:32

    作成中のプログラムソースコードを質問文に追記してくださいな。

    キャンセル

  • tuna.py

    2017/11/23 01:15

    すいません、かなりやりかけですが、追記しました。よろしくおねがいします!

    キャンセル

回答 1

checkベストアンサー

+2

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup


def get_response(url):
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
    return requests.get(url, headers={'User-Agent': user_agent}, timeout=2000)


def main():
    url = 'https://shikiho.jp/tk/stock/info/9983'
    soup = BeautifulSoup(get_response(url).content, 'html.parser')
    for syuyou in soup.find_all(class_='syuyou'):
        for tr_tag in syuyou.find_all('tr'):
            print('=' * 50)
            #他の値を取りたい時はこの部分のコメントを外して試行錯誤してみてくださいな。
            #print(tr_tag)
            print(tr_tag.th.text)
            if tr_tag.td is None:
                continue
            print('#' * 50)
            print(tr_tag.td.text)
            print('#' * 50)


if __name__ == '__main__':
    main()


□タグの調べ方
Google Chromeでサイトを開き→スクレイピングを行いたい部分を右クリック→検証をクリックで該当部分のタグが選択されます。該当部分の要素が含まれている親要素のclass やidを元にスクレイピングを行います。
質問文の場合、サイトにtable class="syuyou"が定義されているのでこれを使用します。

※スクレイピングの注意事項
1,サイトの規約で機械でのアクセス(スクレイピング)を禁止しているサイトがあります。
2,相手のサイトに負荷がかからないように、requests.get(url)を行う時は適宜 time.sleepをいれてくださいな。
3,株価情報は著作権情報として扱われる事が多いですその点留意してください。

投稿 2017/11/23 02:39

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/11/23 02:58

    すごい!感動しました!表示がめっちゃおしゃれですねw
    詳細な回答とコメントどうもありがとうございました!!!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

ただいまの回答率

91.37%

関連した質問

同じタグがついた質問を見る

  • Python 3.x

    2398questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • Scrapy

    29questions

    Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。