Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

RSS

  • 受付中

    回答
    1

    scrapyのデーモンを使う場合の正しい挙動

    環境 Windows10,Python3, scrapy1.2, scarpyd(githubのpull requestを利用して無理やりpython3で動くようにしました) 質問内容 scrapydを使ってscrapyのspiderをある一定間隔で自動実行させたいのですが、1回しか行ってくれません。 1回目の時に、spiderがfinishして

    • 0評価
    • 24PV
    tetsutail tetsutail 6日前
  • 受付中

    回答
    0

    クローリング ページ移動

    現在、Rubyを用いてAmazonサイトから書籍のタイトル、画像のクローリングを行っています。 そこで、 Amazon.co.jp: 文芸作品 - 文学・評論: 本 上記のページ内の作品名は抽出することは出来ました。 しかし、次のページへクローリングさせる方法がわかりません。 Rubyのライブラリでnokogiriとanemoneを使って、

    • -3評価
    • 45PV
    snoooopy snoooopy 2週間前
  • 解決済

    回答
    1

    【python scrapy】parser間での変数共有【DB構築】

    scrapyで得たデータを用いてデータベースを構築しています。 ページの種類に応じてparser1とparser2を使い分けていて、それぞれを別々のテーブルに格納しています。また、parser1とparser2に共通の変数hogeをキーにして、テーブル間のリレーションを取ろうとしてるのですが、データの表記揺れによりうまくリレーションが取れないデータが発生し

    • 0評価
    • 43PV
    gax gax 1ヶ月前
  • 解決済

    回答
    2

    webデータをスクレイピングしたいがうまくできません。

    rubyでwebデータをスクレイピングしようとしています。 データ元のウェブサイトのソースを見るとjavascriptでデータを呼び出しているようで一部のデータはとれますが元のデータを全てとることができないです。 どのような手法をとれば解決できそうか教えていただきたいです。 お願いします。 データ元URL http://int.soccerway.

    • 0評価
    • 106PV
    matumatu matumatu 2ヶ月前
  • 解決済

    回答
    1

    「超初歩」rubyのscrapingについて[anemone]

    前提・実現したいこと ルビーでwebスクレイピングをしようと考えているのですが なかなか上手く行きません…。タグ名を取得したいのですがなかなか出来なくて とても初歩的な質問ですみません。 発生している問題・エラーメッセージ 要素が取得できない。 該当のソースコード require 'nokogiri' require 'anemone

    • 0評価
    • 225PV
    m-izuki m-izuki 6ヶ月前
  • 受付中

    回答
    0

    scrapyをインストールしたのですが、うまく動きません

    pythonでscrapyを使おうと思ったのですが、scrapyをeasy_installでインストール後(pipではうまくインストールできなかったので)、コマンドプロンプトから下のコードを実行したところ、DistributionNotFoundというエラーが出ました。 実行したコード >scrapy startproject tutorial

    • 0評価
    • 241PV
    ゲストユーザー 10ヶ月前
  • 受付中

    回答
    1

    PythonのScrapyをインストールしようとしたらエラーでインストールできない

    PythonのScrapyをインストールしようとしたらエラーがでました。 pip install scrapy ↓ Command "python setup.py egg_info" failed with error code 1 in /private/tmp/pip-build-AUd_G6/cffi で正常にインストールできません。 みなさ

    • 0評価
    • 483PV
    NM3 NM3 1年以上前
  • 受付中

    回答
    0

    FBのWEBスクレイピングについて

    閲覧いただき、ありがとうございます。 このサイトでは、初めての質問になります。 FBのAPIの仕様変更により、使えないアプリや閉鎖に陥ったアプリが多々あると思います。 http://jp.techcrunch.com/2015/04/29/20150428facebook-api-shut-down/ 私も現在、とあるアプリで、アプリのユーザにFBのA

    • 0評価
    • 732PV
    tomari_perform tomari_perform 1年以上前
  • 受付中

    回答
    0

    [Python]Scrapyでクロール済みのURLを再クロールしない方法

    Scrapyでクロールをしているのですが、一度目にクロールしたURLを、二度目のクロールでは避けたいのですが、方法はありますでしょうか? 例えば、毎日同じWebサイトをクロールするとして、昨日あるいはこれまでクロールしたページを再クロールしない方法が知りたいです。 方法をご存知の方は、ご教示いただければ光栄です。 よろしくお願いいたします。

    • 0評価
    • 399PV
    RioNishino RioNishino 1年以上前
  • 解決済

    回答
    1

    [Python]ScrapyのIgnoringについて

    PythonのフレームワークのScrapyを使ってWebクローラーを試しています。 クロールして、各URLをJSONで保存しようとしているのですが、DEBUG: Ignoring link (depth > 5)と表示される箇所があり、そこのURLが取得できません。結構な数のデータが取得できずに困っています。 これはどういうエラーなのでしょうか? また対

    • 0評価
    • 385PV
    RioNishino RioNishino 1年以上前
  • 解決済

    回答
    2

    pip が対応するpython のバージョンを変えたい

    Mac(OS X)環境です。 ターミナルでpythonのscrapyというフレームワークをインストールしようと思ったのですが pip install scrapyと打つと Command /Library/Frameworks/Python.framework/Versions/3.4/bin/python3.4 -c "import setuptools,

    • 0評価
    • 907PV
    ray.prorsum ray.prorsum 1年以上前

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    10

  • 総質問数

    11

  • 今週の質問数

    1

関連するタグ

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る