スクレイピング

RSS

  • 解決済

    回答
    5

    正規表現でのスクレイピング

    phpを勉強し始め2ヶ月の初心者です。 練習に、スクレイピングサイトを作っているのですが、質問させてください。 とあるサイトから住所と電話番号をスクレイピングするサイトを作っているのですが、正規表現を利用しています。 if(preg_match ("/(東京都|北海道|京都府|大阪府|.{6,9}県)((?:四日市|廿日市|野々市|かすみがうら

    • 0評価
    • 142PV
    naoyahige naoyahige 1週間前
  • 解決済

    回答
    1

    vbaでのスクレイピングに関して

    箇条書きで恐縮です。 只今下記、参考サイトから各企業のURLを抜き出し、各下層ページから”欲しい情報”を抜き出したいと考えております。 ■参考サイト ■下層ページ(例) ■欲しい情報 代表者名 会社名 資本金 業種 人数 求人採用 企業HP そして、現在各企業のURLを取得する際に困っています。 こちらのコードでUR

    • 0評価
    • 51PV
    memomemo memomemo 1週間前
  • 解決済

    回答
    2

    ジャパンネット銀行のスクリピング

    「Google Apps Scriptでクレジットカード利用明細を毎月自動で奥さんにメール送信する」 を参考に、ジャパンネット銀行の明細取得を行いたいと思ったのですが、 スクリプトを作成し、正常に実行はされているものの、 下記HTMLのような実行結果になり、先に進めなくなってしまいました。 実行結果の一部 「/common/js/adobe/f

    • 0評価
    • 106PV
    yoichi0702 yoichi0702 1週間前
  • 解決済

    回答
    2

    最適なスクレイピング学習方法を教えてください

    許可をもらった複数サイト内の全コンテンツを対象に定期的にクロールしてソースを取得するクローラーを作ろうと思っています。(JavaScriptのリンクも読み取る仕様で) 最低でも100サイト✕1000ページくらいを巡回する事ができるようなものを作ろうと思うのですが、どのような言語?を学習すればよいでしょうか? ネットで色々調べたところ、 VPS(

    • 0評価
    • 143PV
    coinbura coinbura 2週間前
  • 受付中

    回答
    2

    正規表現での住所の表し方

    php勉強中の初心者です。 いろいろなサイトから住所をスクレイピングするプログラムを練習しているのですが、 正規表現の部分でわからないことがあり質問させていただきます。 if(preg_match("/^(東京都|北海道|(?:京都|大阪)府|.{6,9}県)((?:四日市|廿日市|野々市|かすみがうら|つくばみらい|いちき串木野)市|(?:杵島郡

    • 0評価
    • 92PV
    naoyahige naoyahige 2週間前
  • 受付中

    回答
    1

    特定の文字だけを抽出したい

    phpを練習中の初心者です。 練習として簡易的なスクレイピングサイトを作っているのですが、 特定の文字列を抽出する方法がわからずに困っています。 検索キーワードを打てば、それに関するサイト10個から特定のキーワードを抽出するサイトです。 (例: 炊飯器 企業 と検索し、 出てきたタイガー、象印、日立 などのサイトから、企業の住所を抜き取りたい)

    • -2評価
    • 76PV
    naoyahige naoyahige 2週間前
  • 受付中

    回答
    1

    【Python】スクロールでページが追加取得されるサイトの全ソースコードを取得する方法は?

    こちらのサイトのようにスクロールをするとページを読み込むようなサイトで全てのソースコードをPythonで取得するにはどうすればよいのでしょうか? http://www.topshop.com/en/tsuk/category/clothing-427/dresses-442 現在はSeleniumを使ってページを順番にスクロールして、最後まで表示し終

    • 0評価
    • 120PV
    zer0 zer0 2週間前
  • 受付中

    回答
    2

    phpでのスクレイピング(simple_html_dom.php使用)

    phpを勉強して一ヶ月の初心者です。 今作ろうとしているものが、webアプリケーションなのですが、 検索画面に好きなキーワードを打ち込むと、グーグルの検索結果の上から10個のリンクの中から、会社名とそのURLをスクレイピングしてリスト化する というものを作ろうとしています。 現在、検索画面は作り終えて、そのキーワードからスクレイピングをする手段が

    • 0評価
    • 88PV
    naoyahige naoyahige 3週間前
  • 解決済

    回答
    1

    PyQueryでのスクレイピングで特定のページだけ文字化け

    練習でPyQueryで大学のシラバスのデータを取得しようとしているのですが、 http://www0.osakafu-u.ac.jp/syllabus/list02.aspx?CD1=3&CD2=601 ここのページのデータだと文字化けせずに取得できるのですが、 上のページから飛んだリンクの先のページ、無数にありますが例えば http://www

    • 0評価
    • 49PV
    cloudspider cloudspider 3週間前
  • 解決済

    回答
    1

    Beautiful Soup4で返ってくるオブジェクトのTypeによって条件分岐したい!

    Beautiful Soup4の質問ってよりかはPythonの質問なのかな…。 こんにちは。 Beautiful Soupでスクレイピングをしています。 返ってくるオブジェクトのTypeによって処理を変えたいですが、やり方がわかりません…。 あるHTMLにたいして、spanをすべて調べようとしました。 from bs4 import B

    • 0評価
    • 106PV
    hacosato hacosato 1ヶ月前
  • 受付中

    回答
    0

    phantomjs -vでバージョン確認できない

    以下のサイトで、 「バイナリ インストール」を参考に Linuxサーバにphantomjsを入れました。 https://www.craneto.co.jp/archives/1203/#i-2 その後phantomjs -vを実行すると、以下のようなエラーが出ます。 [root@server python]# phantomjs -v p

    • 0評価
    • 73PV
    hondy12345 hondy12345 1ヶ月前
  • 解決済

    回答
    1

    MixChannel(ミックスチャンネル)のAPIありませんか…?

    動画SNSのMixChannel(ミックスチャンネル・ミクチャ)の情報を収集したいと思っています。 https://mixch.tv/ 特定のBGMが使われてる曲がいくつあるか(BGMが使われている動画にはそれ用のリンクがついています)←これがいちばんやりたい 特定のタグがついてる動画がいくつあるか 特定のユーザーが投稿している動画がい

    • 0評価
    • 320PV
    hacosato hacosato 1ヶ月前
  • 受付中

    回答
    1

    【Ruby on Rails】スクレイピングしたデータをActiveRecordに保存したい

    前提・実現したいこと 現在ゲームのキャラクターの能力値をnokogiriでスクレイピングしてきて、そのデータをrailsのActiveRecordに保存し、いつでもそのデータを見ることができるアプリを制作しています。 対象のページから欲しいデータは無事スクレイピングできたのですが、取得したデータをどのようにActiveRecordに保存すれば良いか分

    • 0評価
    • 113PV
    k-taku k-taku 1ヶ月前
  • 受付中

    回答
    1

    Cookieが必要なサイトをUrlFetchAppでスクレイピングする方法

    Google Apps ScriptでCookieを使うサイトをスクレイピングしたいです。 このサイトの検索結果をスクレイピングしたいのですが、一発でアクセスすることができないよう、大元のページにリダイレクトされます。 ブラウザの場合、もう一度URLにアクセスすると、見れるようになります。 これをUrlFetchで行いたいのですが、ただ、二回ア

    • 0評価
    • 314PV
    SASAKI_APPL SASAKI_APPL 1ヶ月前
  • 解決済

    回答
    1

    Capybaraにおけるリンクの検索,クリック方法について

    capybara/poltergeistを用いてリクナビ(https://job.rikunabi.com/2018/)をスクレイピングしたいと思っています. 具体的には企業検索ページから新着企業を選択し,該当企業一覧を表示させ,その企業全ての企業ページへ訪問し,企業情報を取得するというものです. 作成したコードをいかに記載しています.(企業情報を取得す

    • 0評価
    • 88PV
    raaacho raaacho 1ヶ月前
  • 解決済

    回答
    3

    Nokogiriでの検索・抽出方法について

    ネットでNokogiriを使ったコードを調べていると,以下のコードに出会いました. ・・・ doc = Nokogiri::HTML.parse(session.html) str = doc.at('td:contains("内容")') ? doc.at('td:contains("内容")').parent.at('.item').inner_h

    • 0評価
    • 79PV
    raaacho raaacho 1ヶ月前
  • 解決済

    回答
    1

    PhantomJSでのスクレイピングについて

    あるサイトをスクレイピングするためにPhantomJSを使っているのですが、以下のようなメッセージが表示されみたいページが取得できません。 You're a power user moving through this website with super-human speed PhantomJSでのJavascriptの実行が速すぎるのが原因でb

    • 0評価
    • 149PV
    yoppy0066 yoppy0066 1ヶ月前
  • 受付中

    回答
    1

    英語論文和訳をコードを書きGoogle翻訳を用い自動化したいです。

    Google翻訳で、英語論文を和訳したいです。しかしGoogle翻訳は5000字という制限があり論文自体は何万文字とあるので手作業でやっていると非常に時間がかかります。 なので英語論文和訳をコードを書いて自動化したいです。 どのようにしたいかは論文の和訳をどこかに出力して欲しいです。できればワードが良いです。 私はプログラミング初心者で、TECH:

    • 0評価
    • 125PV
    ysoccer ysoccer 1ヶ月前
  • 解決済

    回答
    1

    PHP(Goutte)でフォームを送信し、結果を取得したい

    前提・実現したいこと JAL の運賃一覧を取得するシステムを作っています。 JAL運賃検索ページ PHPのGoutte というライブラリで作成したところ、検索から一覧のページへ進めず、悩んでいます。 (特にGoutteにこだわっているわけではありません) リストライブラリページ Goutte Goutteを利用- リストする際に

    • 0評価
    • 136PV
    t.tohda t.tohda 1ヶ月前
  • 解決済

    回答
    1

    Pythonでスクレイピング : iframe内の要素

    PythonでのWebスクレイピング 簡単なWebサイトのスクレイピングはできたものの、JavascriptでレンダリングされているようなWebページでのスクレイピングで苦戦中です。 発生している問題 今、某魚拓サイトをスクレイピングしようとしています。 挑戦中のWebページは以下のページです。(スクレイピング先の内容に特に意味はないです……)

    • 0評価
    • 129PV
    RyuSuzuki RyuSuzuki 2ヶ月前
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    9

  • 総質問数

    30

  • 今週の質問数

    0

関連するタグ

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る