スクレイピング

RSS

  • 解決済

    回答
    1

    PHPで簡単にスクレイピング処理を作る方法

    前提・実現したいこと PHPをクライアント側として自動ログインさせ 会員サイトの情報を取得したいと考えています。 curl_execなどを使って1ページずつ解析しているのですが なかなかはかどりません。 他に何か方法はないでしょうか? ※言語は他システムと揃えたいのでできればPHPで共通化したいと考えています。 補足情報(言語/FW/ツール等のバージョン

    • 0評価
    • 61PV
    kawax kawax 1日前に ベストアンサー
  • 受付中

    回答
    0

    scrapyでリンクを2回辿る

    scrapyを使ってスクレイピングをしようとしているのですが、(恐らく)基礎が抜けているせいで、どれだけ調べても答えにたどり着きませんでした。 今回やりたいと思っているのは、 http://www.ts4-net.com/numbers/ このサイトからリンクを辿り、例えば1回目のループでは 第4701回~最新回に飛び、 それから、その中のループで 第4

    • 0評価
    • 24PV
    teratailが5日前に アップデート
  • 解決済

    回答
    2

    webスクレイピングでRSSの内容を取得したい

    実現したいこと、発生している問題 社内環境下でwebページ(ロイター記事)のタイトルおよび記事内容のスクレイピングを行いたく、下記のソースコードを書きました。 実行したところ、 <title>記事タイトル</title> <description>[東京 XX日 ロイター] 記事本文 &lt;div class="feedflare"&gt;&lt;

    • 0評価
    • 73PV
    hiroki_0926 hiroki_0926 1週間前に ベストアンサー
  • 解決済

    回答
    1

    【C#】Ajaxで値の変わるページをHTTPClientでスクレイピングする方法について

    やりたい事 Ajaxで値の変わるページのスクレイピングをしようとしています。 具体的には、以下のような為替レートが閲覧できるようなサイトのスクレイピングをしようとしています。 https://www.dailyfx.com/forex-rates 分からない事 上記ページをF12の開発者ツールで見ると、 「#eurusd-priceAsk」のよう

    • 0評価
    • 71PV
    Tak1016 Tak1016 2週間前に ベストアンサー
  • 解決済

    回答
    1

    PHPのスクレイピングGoutteでページ遷移しない

    前提・実現したいこと PHPでブログをスクレイピングするシステムを作っています。 ページ遷移して記事のタイトルとURLを取るだけの機能を実装中ですが、リンククリック後もページ遷移しない問題がおきています。 該当のソースコード $crawler->filter('a.tapEntry > h3')->each(function ($node) {

    • 0評価
    • 34PV
    hanachan1026 hanachan1026 3週間前に ベストアンサー
  • 受付中

    回答
    1

    phpのスクレイピングGoutte

    <li class="" data-owner-id="111">…</li> <li class="" data-owner-id="112">…</li> <li class="" data-owner-id="113">…</li> 上記のタグに囲まれたテキストを取得したいのですが、 $res = $crawler->filter ( 'li.cl

    • 0評価
    • 46PV
    ahodana ahodana 3週間前に コメント
  • 解決済

    回答
    5

    「一定時間ごとにスクレイピング」をするのにはサーバーは必要かどうかについて

    前提・実現したいこと 今、自分のpcでvagrantとvirtualboxでサーバーを作り、crondを使い、言語はrubyとrailsで、同じニュースサイトを一定時間ごとにスクレイピングをし新着があればそれをビューに表示させるというものを作成しています。 「一定時間ごとにスクレイピング」をする方法としてサーバーでcrondのデーモンを使う方法は知ったの

    • 0評価
    • 197PV
    tanakamaruki tanakamaruki 3週間前に ベストアンサー
  • 解決済

    回答
    2

    [Ruby]Webスクレイピングについて

    度々質問失礼します。 Webスクレイピングにおいて、JavaScriptが作動しているHTMLから特定の情報を取得することができません。 こちらのサイトの、Related Tagsという部分を抽出したいのですが、NokogiriやSeleniumやCapybaraなどいろいろ調べましたが、上手く処理することができませんでした。(知識不足で理解が

    • 0評価
    • 165PV
    otn otn 3週間前に ベストアンサー
  • 解決済

    回答
    1

    【PHP】【switch文】想定外の挙動をするのを解決したいです。【正規表現:条件と違うものが選ばれ...

    【現在の状況】 PHPの勉強を開始して数ヶ月のものです。 現在、ドットインストールと書籍で基礎的な知識と簡単なプログラムの作成が終わりました。 そこで 以前こちらにて教えて頂いた通り 自作で作りたいものを作りながらPHPの勉強をしようと思い「スクレイピング」を使ったサイトを作成中です。 【現在の進捗状況】 PHP+PHPQUERYを使用: 「記

    • 0評価
    • 81PV
    shimane shimane 1ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    Selenium+PhantomJS+Pythonで通販サイトにログイン

    VPS(さくら、CentOS 7)で、ヨドバシ.comにログインして注文履歴を取得するPythonプログラムを動かしてます。 以前までは期待通りに動作してたのですが、先週くらいから「ログイン」ができなくなりました。 正しい会員IDとパスワードを入力しても下記のように表示されます。 >正しく入力されていない項目があります。メッセージをご確認の上、もう一

    • 0評価
    • 90PV
    teratailが1ヶ月前に アップデート
  • 解決済

    回答
    1

    VBAで、HTML要素の子要素をオブジェクトとして取得したい

    VBAのスクレイピングについて質問です。 膨大なHTMLページの中に、以下のDIVがあります。 <div id="tables"> <table> <tbody> <tr> <td>やまだ</td> </tr> </tbody> </table> <

    • 0評価
    • 108PV
    hatena19 hatena19 1ヶ月前に 回答を編集
  • 受付中

    回答
    0

    Selenium/Pythonでスクレイピングする際にタイムアウトして処理が止まってしまう

    実現したいこと:Selenium/PythonでWEBサイトをスクレイピングしたい Selenium/Pythonを用いてWEBサイトのスクレイピングを行っています。 スクレイピング自体は問題なくできているのですが、スクレイピングするページ数が多く途中で停止してしまいます。 最後までスクレイピングを行えるようにしたいです。 発生している問題・エラーメ

    • 0評価
    • 117PV
    teratailが1ヶ月前に アップデート
  • 解決済

    回答
    1

    [Ruby] anemone+nokogiri Webスクレイピングについて

    rubyの anemone+nokogiriを用いて Webスクレイピングをしたいと思っています。 require 'anemone' require 'nokogiri' require 'kconv' urls = [] urls.push("http://hb-store.com/diet/diet-tea-coffee/item_2791.ph

    • 0評価
    • 56PV
    shawkoike shawkoike 1ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    pythonで画像データを取得し、ネットワーク上にあるubuntuサーバに保存したい

    いつもお世話なります。 以下のプログラムを実行して、スクレイプングして得たimg画像をIPアドレス(10.10.10.17/share)のubuntuサーバに保存したいです。Sambaを利用しています。 save_path = pathlib.WindowsPath(r'\\10.10.10.17/share/' + folderName + '/') のよ

    • 0評価
    • 86PV
    UekiKouji UekiKouji 1ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    後書きでレンダリングするページをスクレイピングする場合の選択肢。

    素のHTMLを後からJavaScriptでDOM上書きしているようなページの場合、VBAマクロやUWSCではうまくスクレイピングすることができません。 このようなページをスクレイピングしたい場合、選択肢としてどのような方法がありますでしょうか?(Goutte、PhantomJSなど) 選択肢とそれぞれのメリット・デメリットを教えていただけるとありがたいで

    • 0評価
    • 90PV
    mneko mneko 2ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    RubyにてCapybaraを使ってJavascriptサイトで画面遷移処理をしようとしていますが、...

    前提・実現したいこと Rubyで、Javascriptを使用しているサイトの特定の場所をクリックして画面遷移する機能を実装中に、以下のエラーメッセージが発生しました。 発生している問題・エラーメッセージ エラーメッセージ /.rbenv/versions/2.4.1/lib/ruby/gems/2.4.0/gems/selenium-webdriver-

    • 0評価
    • 99PV
    teratailが2ヶ月前に アップデート
  • 解決済

    回答
    2

    BeautifulSoupを使ってスクレイピング

    前提・実現したいこと あるページ(イトーヨーカドー)から商品名と価格を取得するためのコードを書いていたところ、以下のエラーメッセージが発生しました。 発生している問題・エラーメッセージ Traceback (most recent call last): File "ito.py", line 11, in <module> name

    • 0評価
    • 173PV
    cir cir 2ヶ月前に コメント
  • 解決済

    回答
    2

    外部サイトの検索結果からスクレイピングしたい

    前提・実現したいこと 外部サイトの検索結果一覧から、一番最初の要素について取得したいです。 以前jqueryのajax関数を使用して外部ページのDOMから情報を取得したことがあったので、 同じようなやりかたでやろうと思ったのですが、うまく取得できません。 該当のソースコード 例えば、YouTubeで「cat」と動画検索した結果ページから、 一番上の動画へ

    • 0評価
    • 155PV
    psephopaiktes psephopaiktes 2ヶ月前に ベストアンサー
  • 解決済

    回答
    3

    【PHP独学】作りたい物に挑戦すべき?基礎をじっくりと固めていくべき?【初心者】

    現在、独学でPHPの勉強を始めて3ヶ月目のものです。 私の環境が周りにプログラムの事を聞けるような人が居ないような超ド級の田舎に住んでる事もあり、 こちらにて質問をさせて頂けたらと思います。 【理想:作りたいもの】 PHPでwebサイトやブログのスクレイピングをcronにて30分や1時間に1度実行して 取得した「記事タイトル・記事url・投稿時間・画

    • 0評価
    • 238PV
    shimane shimane 2ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    グーグルスプレッドシートのスクレピングIMPORTXML関数を使いデータ取得したい

    前提・実現したいこと グーグルスプレッドシートのIMPORTXML関数を使いデータ取得したい と考えています。 特定の商品から「在庫あり」を取得が目的です。 「XPath」、言葉自体を始めて聞いたばかりの初心者です。 XPathはクロームデベロッパーツール上で該当要素を右クリック、「Copy→Copy XPath」取得し、 第二要素の内部をダ

    • 0評価
    • 181PV
    teratailが2ヶ月前に アップデート
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    19

  • 総質問数

    64

  • 今週の質問数

    2

関連するタグ

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る