質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

JupyterLab

JupyterLabは、Jupyter notebookの後継の対話型開発環境(IDE)です。データの可視化がインタラクティブで、プラグイン作成により新しいコンポーネントの追加および既存のコンポーネントも統合可能。サーバに閉じているため、データ分析に向いています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

1回答

786閲覧

5秒ごとにスクレイピングしたい

pahunyan

総合スコア0

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

JupyterLab

JupyterLabは、Jupyter notebookの後継の対話型開発環境(IDE)です。データの可視化がインタラクティブで、プラグイン作成により新しいコンポーネントの追加および既存のコンポーネントも統合可能。サーバに閉じているため、データ分析に向いています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2022/03/19 12:46

初心者です。
ページの更新を検知するために、一つのサイトで同じ個所を5秒ごとにスクレイピングし情報を取得したいです。
繰り返しの部分が上手くいきません。
jupyterlabで作業を行っています。

import requests
from bs4 import BeautifulSoup
import re
import time

while True:
res = requests.get("URL")
soup = BeautifulSoup(res.content, 'html.parser')
soup.select('#id名')
time.sleep(5)

以上のコードで実行できません。
何が問題なのでしょうか。
お詳しい方ご協力いただけたら幸いです。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

CHERRY

2022/03/19 22:02

実行できませんとは、どのようになるのでしょうか?
maisumakun

2022/03/20 00:28

> 一つのサイトで同じ個所を5秒ごとにスクレイピングし情報を取得したいです。 そんな猛烈な頻度で行う場合、相手の許可を取るべきです。
pahunyan

2022/03/20 08:06

>CHERRYさん 結果が出力されない状態になります。繰り返し処理をしなければ、情報が取得できます。
pahunyan

2022/03/20 08:12

スクレイピングが迷惑行為なのは承知しています。 そこで疑問なのですが、Distill Web Monitorというchrome用のアドオンを、 5秒の頻度で半日使用しています。更新を知りたいサイトはかなり多くの人がアクセスしているなので、大丈夫だと思うのですが。これもよくないのでしょうか?
guest

回答1

0

「そんな非常識な頻度でスクレイピングしたら相手サーバーが落ちるかもしれない」

この回答で「知った」ので「故意」の要件を満たした。
実際にスクレイピングしてサーバーを落としたら偽計業務妨害罪や電子計算機損壊等業務妨害罪に問われる可能性が発生。

投稿2022/03/19 14:21

kawax

総合スコア10377

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問