スクレイピング

RSS

  • 受付中

    回答
    1

    Beautiful Soup4で返ってくるオブジェクトのTypeによって条件分岐したい!

    Beautiful Soup4の質問ってよりかはPythonの質問なのかな…。 こんにちは。 Beautiful Soupでスクレイピングをしています。 返ってくるオブジェクトのTypeによって処理を変えたいですが、やり方がわかりません…。 あるHTMLにたいして、spanをすべて調べようとしました。 from bs4 import B

    • 0評価
    • 50PV
    hacosato hacosato 1日前
  • 受付中

    回答
    0

    phantomjs -vでバージョン確認できない

    以下のサイトで、 「バイナリ インストール」を参考に Linuxサーバにphantomjsを入れました。 https://www.craneto.co.jp/archives/1203/#i-2 その後phantomjs -vを実行すると、以下のようなエラーが出ます。 [root@server python]# phantomjs -v p

    • 0評価
    • 32PV
    hondy12345 hondy12345 5日前
  • 解決済

    回答
    1

    MixChannel(ミックスチャンネル)のAPIありませんか…?

    動画SNSのMixChannel(ミックスチャンネル・ミクチャ)の情報を収集したいと思っています。 https://mixch.tv/ 特定のBGMが使われてる曲がいくつあるか(BGMが使われている動画にはそれ用のリンクがついています)←これがいちばんやりたい 特定のタグがついてる動画がいくつあるか 特定のユーザーが投稿している動画がい

    • 0評価
    • 155PV
    hacosato hacosato 1週間前
  • 受付中

    回答
    0

    【Ruby on Rails】スクレイピングしたデータをActiveRecordに保存したい

    前提・実現したいこと 現在ゲームのキャラクターの能力値をnokogiriでスクレイピングしてきて、そのデータをrailsのActiveRecordに保存し、いつでもそのデータを見ることができるアプリを制作しています。 対象のページから欲しいデータは無事スクレイピングできたのですが、取得したデータをどのようにActiveRecordに保存すれば良いか分

    • 0評価
    • 62PV
    k-taku k-taku 2週間前
  • 受付中

    回答
    1

    Cookieが必要なサイトをUrlFetchAppでスクレイピングする方法

    Google Apps ScriptでCookieを使うサイトをスクレイピングしたいです。 このサイトの検索結果をスクレイピングしたいのですが、一発でアクセスすることができないよう、大元のページにリダイレクトされます。 ブラウザの場合、もう一度URLにアクセスすると、見れるようになります。 これをUrlFetchで行いたいのですが、ただ、二回ア

    • 0評価
    • 225PV
    SASAKI_APPL SASAKI_APPL 2週間前
  • 解決済

    回答
    1

    Capybaraにおけるリンクの検索,クリック方法について

    capybara/poltergeistを用いてリクナビ(https://job.rikunabi.com/2018/)をスクレイピングしたいと思っています. 具体的には企業検索ページから新着企業を選択し,該当企業一覧を表示させ,その企業全ての企業ページへ訪問し,企業情報を取得するというものです. 作成したコードをいかに記載しています.(企業情報を取得す

    • 0評価
    • 48PV
    raaacho raaacho 2週間前
  • 解決済

    回答
    3

    Nokogiriでの検索・抽出方法について

    ネットでNokogiriを使ったコードを調べていると,以下のコードに出会いました. ・・・ doc = Nokogiri::HTML.parse(session.html) str = doc.at('td:contains("内容")') ? doc.at('td:contains("内容")').parent.at('.item').inner_h

    • 0評価
    • 47PV
    raaacho raaacho 3週間前
  • 解決済

    回答
    1

    PhantomJSでのスクレイピングについて

    あるサイトをスクレイピングするためにPhantomJSを使っているのですが、以下のようなメッセージが表示されみたいページが取得できません。 You're a power user moving through this website with super-human speed PhantomJSでのJavascriptの実行が速すぎるのが原因でb

    • 0評価
    • 82PV
    yoppy0066 yoppy0066 3週間前
  • 受付中

    回答
    1

    英語論文和訳をコードを書きGoogle翻訳を用い自動化したいです。

    Google翻訳で、英語論文を和訳したいです。しかしGoogle翻訳は5000字という制限があり論文自体は何万文字とあるので手作業でやっていると非常に時間がかかります。 なので英語論文和訳をコードを書いて自動化したいです。 どのようにしたいかは論文の和訳をどこかに出力して欲しいです。できればワードが良いです。 私はプログラミング初心者で、TECH:

    • 0評価
    • 70PV
    ysoccer ysoccer 3週間前
  • 解決済

    回答
    1

    PHP(Goutte)でフォームを送信し、結果を取得したい

    前提・実現したいこと JAL の運賃一覧を取得するシステムを作っています。 JAL運賃検索ページ PHPのGoutte というライブラリで作成したところ、検索から一覧のページへ進めず、悩んでいます。 (特にGoutteにこだわっているわけではありません) リストライブラリページ Goutte Goutteを利用- リストする際に

    • 0評価
    • 72PV
    t.tohda t.tohda 3週間前
  • 解決済

    回答
    1

    Pythonでスクレイピング : iframe内の要素

    PythonでのWebスクレイピング 簡単なWebサイトのスクレイピングはできたものの、JavascriptでレンダリングされているようなWebページでのスクレイピングで苦戦中です。 発生している問題 今、某魚拓サイトをスクレイピングしようとしています。 挑戦中のWebページは以下のページです。(スクレイピング先の内容に特に意味はないです……)

    • 0評価
    • 57PV
    RyuSuzuki RyuSuzuki 3週間前
  • 解決済

    回答
    2

    requestsで特定のページを読み込むと文字化けする

    ogp情報を自前でスクレイピングしたくて http://www.jaf.or.jp/jaf_plus_tokyo_201702/ をrequests.get()したところ、どうしても文字化けしてしまいます。 .encoding('utf-8')などで文字コードを設定しても回避できません。 import requests r = requests.

    • 0評価
    • 66PV
    horik horik 4週間前
  • 解決済

    回答
    1

    写真サイトをスクレイピングして新しい画像があればslackに投げたい

    写真サイトをスクレイピングして新しい画像があればslackに投げたいです。 やり方の概要案など教えていただければ幸いです。 コードは自分で調べますので、こういうツールがあるよなどのキーワードで構いません。 現在、画像をスクレイピングして保存するところまでは出来ました。 バッチでスクレイピングを実行するやり方は調べられそうです。 あとは、保存

    • 0評価
    • 68PV
    hasisi hasisi 1ヶ月前
  • 解決済

    回答
    1

    Selenium Basic(VBA)のfirefoxを使って、特定タグのouterHTMLを取得し...

    Selenium Basic(VBA)のfirefoxを使って、特定タグのouterHTMLを取得する方法を教えてください。 IEだと ie.Document.getElementsByTagName("li")(1).outerHTML のようなものをSelenium Basicのfirefoxではどのような書き方をするのでしょうか?

    • 0評価
    • 101PV
    napkara napkara 1ヶ月前
  • 解決済

    回答
    1

    【Ruby】保存したファイルがディレクトリから見つからない

    前提・実現したいこと **目的 Rubyでスクレイピング。 そのために下記サイトを参照に環境構築をしています。 http://vsanna.sakura.ne.jp/wp/2015/01/scraping_start_up/ サイト内にある「4.実践」のように、 エディタ(atom)にRubyのスクリプトを作って、「sample.rb」の名前

    • 0評価
    • 69PV
    twice7 twice7 1ヶ月前
  • 受付中

    回答
    3

    Perl 明示的なパッケージ名が必要とはどういう意味でしょうか

    実現したいこと オライリー・ジャパンから出版されている書籍の一覧を読み込み、木構造を作成するようなプログラムを作成しています。 オライリー・ジャパン発行書籍一覧 HTML::TreeBuilderを用い、実行しようとした際に以下のエラーメッセージが発生しました。 発生している問題・エラーメッセージ $ perl oreilly_catal

    • 0評価
    • 140PV
    dlrowolleh dlrowolleh 2ヶ月前
  • 受付中

    回答
    1

    frameタグが使われているサイトのスクレイピング方法を教えていただけませんか

    似たような質問ばかりしてしまい、大変恐縮ですが何卒よろしくお願いします。 前提・実現したいこと APIが提供されていない、 ウェブサイトを監視するプログラムを作りたいです。 大気の状態を通知してくれるWebアプリを作りました | mawatari.jp 都道府県・時刻別そらまめ君URL - はてなダイアリー のようなことがやりたいです。 対

    • 0評価
    • 153PV
    dlrowolleh dlrowolleh 2ヶ月前
  • 解決済

    回答
    3

    Ruby+Nokogiriを使って、地元の天気を取得できるようにする

    前提・実現したいこと Ruby+Nokogiriを使って、地元の天気を取得できるようにしたいと考えています。 その時に、取得地域名、取得時間、天気、今の温度、湿度、気圧、風、日の出、日の入りの一覧を出力できるようにしたいです。 発生している問題・エラーメッセージ 取得地域名までは取得できるようにしたのですが、それ以降の時間等がうまく取得できない。

    • 0評価
    • 130PV
    kyonN kyonN 2ヶ月前
  • 解決済

    回答
    3

    スクレイピング使用サービスの企画から運用で考慮しなければならないこと

    スクレイピングは、お手軽にコンテンツが作成できるようになるためか、利用したいという要求をなかなかおさえることが出来ません。 個人的にはスクレイピングによる被害を被ったこともあり、スクレイピング慎重派なのですが、私の考慮できる範囲は、個人商店レベルなので、きちんとした業務レベルで利用されている方々の知見をいただければと考えました。 つきましては、ス

    • 0評価
    • 403PV
    te2ji te2ji 2ヶ月前
  • 解決済

    回答
    2

    スクロールによるブラウザ自動読み込みサイトのhtml取得方法

    こちらのサイトやtwitterのように スクロールするとコンテンツが表示されるサイトのページ全てのhtmlを取得したいです。 つまり最後までスクロールしたときのhtmlが欲しいというわけです。 どうすれば実現できますか?

    • 0評価
    • 163PV
    Nobuarithmetic Nobuarithmetic 3ヶ月前
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    9

  • 総質問数

    21

  • 今週の質問数

    2

関連するタグ

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る