Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

RSS

  • 受付中

    回答
    0

    "display none"で非表示しているWEBサイトのスクレイピング(Scrapy利用)

    Python+ScrapyでWEBスクレイピング技術を勉強中です。 環境は下記の通り ・Python 2.7.11 ・Scrapy 1.4.0 対象サイト:https://www.hituji.jp/comret/search/area divtタグの'searchList'クラス配下に複数のdivタグで要素が配置されているのですが CSSのdi

    • 0評価
    • 31PV
    teratailが6日前に アップデート
  • 受付中

    回答
    2

    長すぎるエラーはどうやって解決すればよいか?

    pythonでscrapy をインストールしようとしたときに下のようなエラーが出ました。 当然ですが、エラーが長すぎて全文コピペしても原因は分かりません。 Command "c:\users\user\appdata\local\programs\python\python36-32\python.exe -u -c "import setuptools

    • 1評価
    • 396PV
    slash slash 1週間前に コメント
  • 解決済

    回答
    2

    Scrapyを用いてのスクレイピング

    前提・実現したいこと Python2.7でScrapyをインストールしてWEBクロール&スクレイピングをしようと 思っています。 下記ページを参考に「グノシー」からの抽出は成功しました。 Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る 対象のサイトは下記なのですが シェアハウス検索サイト「シェアシェア

    • -1評価
    • 97PV
    haduki08 haduki08 4週間前に 回答
  • 受付中

    回答
    0

    pythonライブラリを使って、リンクをたどらずにディレクトリごとダウンロード(クロール)するには

    requests(pythonライブラリ)を使って、リンクをたどらずにディレクトリごとダウンロード(クロール)したいです。 その他、pythonのライブラリであれば何でも良いが、 https://example.com/example/以下の存在するファイルを全てクロールするにはどうpyhtonのコードをかけば良いでしょうか。 requestsやur

    • 0評価
    • 92PV
    akigakitahuyuga akigakitahuyuga 2ヶ月前に 質問を編集
  • 解決済

    回答
    2

    ドメイン毎に分散してクローリングを行うアイデアについて

    やりたいこと URLのドメインごとに分散したクローリングを行いたい。 例えば、データベースのテーブルに以下のURLが保存されているとします。 https://google.com/1 https://google.com/2 https://google.com/3 https://google.com/4 https://google.com/5 ht

    • 0評価
    • 152PV
    otn otn 2ヶ月前に ベストアンサー
  • 解決済

    回答
    3

    Pythonクローリング&スクレイピングのサンプルコードを実行したが、エラーが発生する

    前提・実現したいこと Pythonクローリング&スクレイピング ―データ収集・解析のための実践開発ガイド― http://gihyo.jp/book/2017/978-4-7741-8367-1/support 上記のサンプルコードをダウンロードし、6-7のtabelogというプログラムを実行しましたが、エラーが発生しました。 前提・実現したいこと 食べ

    • 0評価
    • 307PV
    nozomu.i nozomu.i 3ヶ月前に コメント
  • 受付中

    回答
    3

    javascriptのgetElementsByxxを利用してボタンクリックする方法

    <html> <head></head> <body> <form class="login-form"> <button class="btn login-button btn-submit btn-small" type="submit" autocomplete="off" tabindex="0" data- reactid="25"><

    • 0評価
    • 190PV
    OsCh OsCh 3ヶ月前に 回答
  • 受付中

    回答
    1

    pythonからウェブのheader取得時bから始まる文字が含まれる

    以下のコードでresponse.headersをloggerで確認すると レスポンスにbから始まる文字が含まれてます。 def browse(self, response): self.logger.info("here is browse-------"+ str(response.headers)) response {b'Server'

    • 0評価
    • 87PV
    can110 can110 3ヶ月前に 回答
  • 受付中

    回答
    1

    KeyboardInterruptによって、twistedのreactorを終了させたい

    実現したいこと KeyboardInterrupt(つまりCtrl-cを押した時)によって、twistedのreactorを終了させたい 発生している問題 PythonのScrapyライブラリを使ってスクレイピングをしようとしています。 以下のスクリプトのように、スクレイピングの開始をスクリプトから制御しています。 from scrapy.crawl

    • 0評価
    • 142PV
    pashango2 pashango2 4ヶ月前に 回答
  • 解決済

    回答
    1

    [python]scrapyフレームワークを使用したxmlサイトマップのクローラーについて

    pythonのscrapyフレームワークを使ってxmlサイトマップからクロールしてページのタイトルを取得しようと試みています。 クロール自体は出来るのですが、下記のエラーが出てタイトルの取得がうまくいきません。 何が悪いのでしょうか? エラーメッセージ Traceback (most recent call last): File "/usr/local

    • 0評価
    • 183PV
    wayaya wayaya 4ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    数値を読み込んでグラフ化したい

    いつもお世話になっております。 発生している問題・エラーメッセージ with open("aiueo.csv", "rb") as f: 読み込もうとしているファイルを ax.plot(f[:,10], f[:,9], "x", color="r", ms=24, mew=0.5) という風に実行しようと試みたが、 TypeError: 'f

    • 0評価
    • 280PV
    Penefax Penefax 4ヶ月前に コメント
  • 解決済

    回答
    2

    python3でScrapyをインストール時のエラーについて

    初歩的な質問ですいません。 Python勉強中の者です。Python3.Xでpip install Scrapyでインストール時にpython3でScrapyをインストール時に以下のようなエラーが出ます。同じ質問で解決した方がいたので参照したのですが、当方には理解できず、、対処方法をご教示下さい!宜しくお願いいたします。 Installing colle

    • 0評価
    • 604PV
    InpactSumo InpactSumo 5ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    scrapyでURL取得してから再度parseさせる方法

    scrapyで start_urls = ['http://xx/'] def parse(self, response): for sel in response.css("div.title-card"): list = Item() list['url'] = sel.css('div.uri').extr

    • 0評価
    • 202PV
    teratailが5ヶ月前に アップデート
  • 解決済

    回答
    2

    PythonでスクレイピングしたデータをMySQLに挿入する

    初歩的な質問になるかと思いますが、教えて頂けますと幸いです.. PythonでスクレイピングしたデータをMySQLに挿入しようとしているのですが、 1つのページで取得したデータが大量の場合の挿入の仕方が分からず困っております。 例をあげると、 http://www.python-izm.com/contents/external/mysql.sh

    • 0評価
    • 544PV
    kawa-kami kawa-kami 6ヶ月前に コメント
  • 解決済

    回答
    2

    Python3.6.1を用いてScrapyをインストールしたいがエラーが大量にでてインストールできな...

    使用環境について python3.6.1 Windows10 はまっている問題について Python3.6.1を先日インストールしたのですが、今度はScrapyをインストールしようと思い、 pip install Scrapyとコマンドしました。 そうしたところ、以下のようなエラーが大量にでてインストールできませんでした。 発生している

    • 0評価
    • 1367PV
    watarusugimoto watarusugimoto 6ヶ月前に コメント
  • 解決済

    回答
    4

    Python3でscrapyのインストールに失敗します。

    環境は CentOS6系でPython3.5.3です。 pipでscrapyをインストールしようとすると下記エラーとなります。 gcc gcc-c++ kernel-devel libffi-devel python-devel openssl-devel libxslt-devel openssl pyOpenSSL などを入れてみたり、色々検索し

    • 0評価
    • 369PV
    noripi noripi 8ヶ月前に コメント
  • 解決済

    回答
    1

    scrapyのデーモンを使う場合の正しい挙動

    環境 Windows10,Python3, scrapy1.2, scarpyd(githubのpull requestを利用して無理やりpython3で動くようにしました) 質問内容 scrapydを使ってscrapyのspiderをある一定間隔で自動実行させたいのですが、1回しか行ってくれません。 1回目の時に、spiderがfinishして

    • 0評価
    • 378PV
    nagaetty nagaetty 10ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    クローリング ページ移動

    現在、Rubyを用いてAmazonサイトから書籍のタイトル、画像のクローリングを行っています。 そこで、 Amazon.co.jp: 文芸作品 - 文学・評論: 本 上記のページ内の作品名は抽出することは出来ました。 しかし、次のページへクローリングさせる方法がわかりません。 Rubyのライブラリでnokogiriとanemoneを使って、

    • -3評価
    • 323PV
    snoooopy snoooopy 1年以上前に 質問を編集
  • 解決済

    回答
    1

    【python scrapy】parser間での変数共有【DB構築】

    scrapyで得たデータを用いてデータベースを構築しています。 ページの種類に応じてparser1とparser2を使い分けていて、それぞれを別々のテーブルに格納しています。また、parser1とparser2に共通の変数hogeをキーにして、テーブル間のリレーションを取ろうとしてるのですが、データの表記揺れによりうまくリレーションが取れないデータが発生し

    • 0評価
    • 520PV
    gax gax 1年以上前に 回答
  • 解決済

    回答
    2

    webデータをスクレイピングしたいがうまくできません。

    rubyでwebデータをスクレイピングしようとしています。 データ元のウェブサイトのソースを見るとjavascriptでデータを呼び出しているようで一部のデータはとれますが元のデータを全てとることができないです。 どのような手法をとれば解決できそうか教えていただきたいです。 お願いします。 データ元URL http://int.soccerway.

    • 0評価
    • 405PV
    matumatu matumatu 1年以上前に ベストアンサー
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    27

  • 総質問数

    27

  • 今週の質問数

    0

関連するタグ

Scrapyタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る