質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.31%
Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

意見交換

5回答

548閲覧

スクレイピング     

rwewrrew

総合スコア0

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

0グッド

0クリップ

投稿2025/04/20 23:33

一時的にデータを取得したいケースと
自動で流し込みたいケースがあるかと思われますが、
スクレイピングしようと考える人間は、本質的にどちらが多いんでしょうか
一時的なデータであれば頑張ってコピペでいいと思いますが、
スクレイピングしようと思う人間は後者のケースが多いのでしょうか

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

回答5

#1

tt-tt

総合スコア165

投稿2025/04/21 01:27

自分はスクレイピングしたことないですが、コピペで追いつかないからしているケースが多いと思うので、質問の二択だと

自動で流し込みたいケースがあるかと思われますが、

こちらな感じがしますね

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

#2

otn

総合スコア86295

投稿2025/04/21 01:42

編集2025/04/21 01:49

そんなことを気にしてもしょうがないと思うのですが、質問意図はなんでしょうか?

そもそも、「全て手動でブラウザ画面からコピペ」もスクレイピングですが、おそらく「(RPA等も含めた)プログラムを書いてのスクレイピング」の事ですよね。
私は「この作業は絶対に一度きりだが、全手動コピペは面倒」と思うときは、ブラウザの開発者ツールでHTMLソースを取得してファイルに保存し、nokogiri aaa.htmlと対話型操作でスクレイピングすることもありますね(※1)。テーブルならExcelにコピペすることもあります。データ数個で面倒でなければ1つずつ手動コピペももちろんします。
(※1 一度きりならHTML取得のコードは書かないが、HTMLからデータを取得するコードは書くかもと言うこと。nokogiriはRubyで書かれたHTML(XML)構文解析パッケージ)

目的があって手段を選ぶので、目的を聞くなら「スクレイピングしたい時って、一度きりの作業で手動でも可能なケースと、毎日とか毎時とかの作業で手動では非現実的なケースと、どちらが多いでしょうか?」でしょうけど、それを聞いて何の意味があるのか分かりません。
あるいは手段を聞くなら「今回一度きり作業のスクレイピングと分かっていて、手動でも可能なんだけど、プログラムを書くことがありますか?」がですかね?これも何の意味があるのか分かりません。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

#3

yambejp

総合スコア117674

投稿2025/04/21 03:14

自分がどうしたいか、そのやり方が効率的か?という質問ならソース次第で可否を判断できますが他人がどうしているかなんて気にしても仕方ないです

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

#4

meg_

総合スコア10897

投稿2025/04/21 11:24

一時的にデータを取得したいケースと
自動で流し込みたいケースがあるかと思われますが、
スクレイピングしようと考える人間は、本質的にどちらが多いんでしょうか
一時的なデータであれば頑張ってコピペでいいと思いますが、
スクレイピングしようと思う人間は後者のケースが多いのでしょうか

データ量の問題だと思います。一度限りあっても1万回コピペできますか?私にはできないので自動化できないか検討しますね。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

#5

satoshih

総合スコア844

投稿2025/04/22 01:36

一時的にデータを取得 = 手動実行
自動で流し込みたい = 定期実行
みたいに捉えました
これらはやりたいこと(更新頻度とその更新情報の重要性)によるんじゃないでしょうか。

数年に一度不定期に更新されるような情報や、更新された情報がリアルタイムで反映される必要がないものは手動でも構わないですし、逆なら定期実行する形になると思います。
が、相手のサーバーへ不要な負荷を与えてしまうことを考えて結局は定期実行するような設計にはならないんじゃないかなと思います。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

この意見交換はまだ受付中です。

会員登録して回答してみよう

アカウントをお持ちの方は

関連した質問