Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

RSS
  • 解決済

    回答
    1

    仮想環境でscrapingディレクトリが作成できない

    前提・実現したいこと とある本(Python クローリング&スクレイピング)に記載の通り、仮想環境でscrapingディレクトリを作成したいです。 解決策をご教示頂けますでしょうか。よろしくお願い致します。 発生している問題・エラーメッセージ python3 -m venv scrapingを実行すると以下のエラーメッセージ The virtual

    • 0評価
    • 104PV
    rinren rinren 2週間前に コメント
  • 受付中

    回答
    1

    Scrapyのエラーについて

    某サイトデータをMongoDBに保存するのにpython3.6でScrapyを使っています。 scrapy crawl corporate を実行するとエラーになります。 エラーが読み取れないのですが、pymongo.errors とあります。 pymongo関係のエラーでしょうか? お分かりになられましたら、教えてください。よろしくお願いいたし

    • 0評価
    • 112PV
    tuna.py tuna.py 1ヶ月前に コメント
  • 受付中

    回答
    1

    scrapyを使用したスクレイピングの動作について

    scrapyを使用し、動作を確認を行ったところ、 クロールしたページが0になります。 ソースを何パターンか変更し確認を行ったところ、 常に同様の現象になっています。 以下に書籍の内容を実行した際の状況を記載いたします。 ネットやオリジナルのソースで確認を実施しても同様のログになります。 根本的に抜けている所がありますでしょうか? 2018-01-06 1

    • 0評価
    • 71PV
    kk.o kk.o 1ヶ月前に コメント
  • 解決済

    回答
    1

    同じメソッド、URL、リクエストヘッダーなのにレスポンスが違う

    Scrapyでログインが必要なサイトをクロールするプログラムを書いています。 本来の解決した問題は下記リンクになりますが、解決策を模索している最中に関連する疑問がありましたので、質問させていただきます。 https://teratail.com/questions/105105 このサイトには2つの異なるログイン画面があり、ログイン後の遷移先ページは

    • 0評価
    • 413PV
    kentakozuka kentakozuka 1ヶ月前に コメント
  • 受付中

    回答
    0

    scrapyを実行するとImportErrorがでてしまう

    前提・実現したいこと scrapyを実行したい 発生している問題・エラーメッセージ anaconda3をダウンロードしていたので, conda install -c conda-forge scrapy でscrapyをインストールし起動したところうまくいきません。 エラーメッセージ 省略...Anaconda3\lib\site-package

    • 0評価
    • 86PV
    teratailが2ヶ月前に アップデート
  • 受付中

    回答
    1

    Scrapyを用いて複数ページから複数要素を1レコードずつ抽出したい

    Scrapyを用いてクローリング&スクレイピングを行なっており、 なんとなく欲しい情報を取得できたものの思った通りに並んで くれず、原因や解決方法がわからない状態です。 <やりたいこと> ページAに複数ページ(仮にページBとCとDとします)のリンクが貼られており、 更にページBとCとDからリンク先のページがあるとします。 ↓こんな感じです。(伝わりま

    • 0評価
    • 139PV
    fuyutsuki fuyutsuki 2ヶ月前に コメント
  • 受付中

    回答
    0

    FormRequest後にセッションを保持したまま別画面に遷移したい

    やっていること Scrapyを使い、ログイン後に別画面に遷移するプログラムに機能を追加しようとしています。 ソースコードは以下になります。 https://github.com/kentakozuka/dakoku_bot/ できていること 連続でscrapy.FormRequest.from_responseを使用することはできており、セッショ

    • 0評価
    • 93PV
    teratailが2ヶ月前に アップデート
  • 受付中

    回答
    1

    scrapyによる要素の取得方法 Yahooニュース記事タイトル

    scrapyで要素の取得を行ないたいのですが上手くいきません。 初心者なので初期のミスの可能性もあります。 【やりたい事】 Scrapyでヤフーのトップページの記事タイトルの 取得方法をご教示おねがいします。 【試した事】 Scrapy Shellを利用して以下の文で試しましたが取得出来ません。 response.css('ul.emphasis a

    • 1評価
    • 122PV
    npmyj npmyj 2ヶ月前に 回答
  • 解決済

    回答
    1

    Python3.6 のbeautifulsoup4かScrapyでスクレイピングをしたい!

    スクレイピングについて。 プログラミング初心者です。スクレイピングは入門者用の例題しかやったことがありません。 方法はPython3.6 でbeautifulsoup4を使います。(Scrapyでも結構です) https://shikiho.jp/tk/stock/info/9983#news_shikiho ↑このサイトの業績欄の右上14

    • 0評価
    • 152PV
    tuna.py tuna.py 3ヶ月前に コメント
  • 受付中

    回答
    0

    "display none"で非表示しているWEBサイトのスクレイピング(Scrapy利用)

    Python+ScrapyでWEBスクレイピング技術を勉強中です。 環境は下記の通り ・Python 2.7.11 ・Scrapy 1.4.0 対象サイト:https://www.hituji.jp/comret/search/area divtタグの'searchList'クラス配下に複数のdivタグで要素が配置されているのですが CSSのdi

    • 0評価
    • 109PV
    teratailが3ヶ月前に アップデート
  • 受付中

    回答
    2

    長すぎるエラーはどうやって解決すればよいか?

    pythonでscrapy をインストールしようとしたときに下のようなエラーが出ました。 当然ですが、エラーが長すぎて全文コピペしても原因は分かりません。 Command "c:\users\user\appdata\local\programs\python\python36-32\python.exe -u -c "import setuptools

    • 1評価
    • 569PV
    slash 退会済みユーザー 3ヶ月前に コメント
  • 解決済

    回答
    2

    Scrapyを用いてのスクレイピング

    前提・実現したいこと Python2.7でScrapyをインストールしてWEBクロール&スクレイピングをしようと 思っています。 下記ページを参考に「グノシー」からの抽出は成功しました。 Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る 対象のサイトは下記なのですが シェアハウス検索サイト「シェアシェア

    • -1評価
    • 225PV
    haduki08 haduki08 4ヶ月前に 回答
  • 受付中

    回答
    0

    pythonライブラリを使って、リンクをたどらずにディレクトリごとダウンロード(クロール)するには

    requests(pythonライブラリ)を使って、リンクをたどらずにディレクトリごとダウンロード(クロール)したいです。 その他、pythonのライブラリであれば何でも良いが、 https://example.com/example/以下の存在するファイルを全てクロールするにはどうpyhtonのコードをかけば良いでしょうか。 requestsやur

    • 0評価
    • 148PV
    akigakitahuyuga akigakitahuyuga 5ヶ月前に 質問を編集
  • 解決済

    回答
    2

    ドメイン毎に分散してクローリングを行うアイデアについて

    やりたいこと URLのドメインごとに分散したクローリングを行いたい。 例えば、データベースのテーブルに以下のURLが保存されているとします。 https://google.com/1 https://google.com/2 https://google.com/3 https://google.com/4 https://google.com/5 ht

    • 0評価
    • 235PV
    otn otn 5ヶ月前に ベストアンサー
  • 解決済

    回答
    3

    Pythonクローリング&スクレイピングのサンプルコードを実行したが、エラーが発生する

    前提・実現したいこと Pythonクローリング&スクレイピング ―データ収集・解析のための実践開発ガイド― http://gihyo.jp/book/2017/978-4-7741-8367-1/support 上記のサンプルコードをダウンロードし、6-7のtabelogというプログラムを実行しましたが、エラーが発生しました。 前提・実現したいこと 食べ

    • 0評価
    • 527PV
    nozomu.i nozomu.i 6ヶ月前に コメント
  • 受付中

    回答
    3

    javascriptのgetElementsByxxを利用してボタンクリックする方法

    <html> <head></head> <body> <form class="login-form"> <button class="btn login-button btn-submit btn-small" type="submit" autocomplete="off" tabindex="0" data- reactid="25"><

    • 0評価
    • 264PV
    OsCh OsCh 6ヶ月前に 回答
  • 受付中

    回答
    1

    pythonからウェブのheader取得時bから始まる文字が含まれる

    以下のコードでresponse.headersをloggerで確認すると レスポンスにbから始まる文字が含まれてます。 def browse(self, response): self.logger.info("here is browse-------"+ str(response.headers)) response {b'Server'

    • 0評価
    • 147PV
    can110 can110 6ヶ月前に 回答
  • 受付中

    回答
    1

    KeyboardInterruptによって、twistedのreactorを終了させたい

    実現したいこと KeyboardInterrupt(つまりCtrl-cを押した時)によって、twistedのreactorを終了させたい 発生している問題 PythonのScrapyライブラリを使ってスクレイピングをしようとしています。 以下のスクリプトのように、スクレイピングの開始をスクリプトから制御しています。 from scrapy.crawl

    • 0評価
    • 225PV
    pashango2 pashango2 7ヶ月前に 回答
  • 解決済

    回答
    1

    [python]scrapyフレームワークを使用したxmlサイトマップのクローラーについて

    pythonのscrapyフレームワークを使ってxmlサイトマップからクロールしてページのタイトルを取得しようと試みています。 クロール自体は出来るのですが、下記のエラーが出てタイトルの取得がうまくいきません。 何が悪いのでしょうか? エラーメッセージ Traceback (most recent call last): File "/usr/local

    • 0評価
    • 293PV
    wayaya wayaya 7ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    数値を読み込んでグラフ化したい

    いつもお世話になっております。 発生している問題・エラーメッセージ with open("aiueo.csv", "rb") as f: 読み込もうとしているファイルを ax.plot(f[:,10], f[:,9], "x", color="r", ms=24, mew=0.5) という風に実行しようと試みたが、 TypeError: 'f

    • 0評価
    • 402PV
    Penefax Penefax 7ヶ月前に コメント
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    33

  • 総質問数

    35

  • 今週の質問数

    0

関連するタグ

Scrapyタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る