Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

RSS
  • 受付中

    回答
    0

    slackのcustom絵文字を作った人を取得したい

    前提・実現したいこと slackで各custom絵文字を誰が作ったのかをしたいと思っています。 apiではemojiのリストを取得することができますが、誰が作ったのかを取得できません。 そこで、https://team.slack.com/customize/emoji をスクレイピングして取得したく思っています。(NameとAddedBy) python

    • 0評価
    • 36PV
    teratailが22時間前に アップデート
  • 受付中

    回答
    1

    Scrapyでのcallback処理がされない

    scrapyによるスクレイピングを試しています. 初めにxxx/yyy/archiveにアクセスし,archiveの情報を取得,callbackによりarchive以下の情報を取得したいです. # -*- coding: utf-8 -*- import scrapy from scrapy.spiders import CrawlSpider, Rul

    • 0評価
    • 39PV
    quiqui quiqui 6日前に 回答
  • 受付中

    回答
    1

    スクレイピングで目的のものが取得できない

    前提・実現したいこと スクレイピングで目的のものが取得できないです。 {'title': '厚焼き卵の作り方'} {'title': '白Tについて'} {'title': 'ポニーテール'} という風にタイトルを取得したいです。 発生している問題・エラーメッセージ {'title': None} と出て取得したいものが取得できない。

    • 0評価
    • 104PV
    kobabit kobabit 1週間前に 回答
  • 解決済

    回答
    1

    [Yahooニュースのリスト] PythonのScrapyで二つ目のcallbackを呼ぶ方法

    前提・実現したいこと Yahooニュースの主要リストタブの1件目の情報を取得しようとしています。 ※主要リストタブの1件目が動画ありのものだと失敗しますが、対象は動画なしのものです。 取得したいのは下記の5つ、 ①タイトル 「title」、 ②カテゴリ 「category」、 ③タイトルのURL 「url」、 ④③のURL先の(リンク付きの)見出し文 

    • 0評価
    • 67PV
    LIATARET LIATARET 1週間前に ベストアンサー
  • 解決済

    回答
    1

    Pythonのscrapyによるクローリング、スクレイピング

    わからないこと scrapyでクローリング.スクレイピングしてもJSONファイルになにも書き込まれない 実現したいこと 正常に動作させたい 趣味のスロットのライターの来店予定なんかを収集しようと思っています。 http://www.bash-tv.com/wp/schedule このページをスクレイピングしたいのですが、うまくいきません。 エラーなど

    • 0評価
    • 117PV
    RarigoB RarigoB 2週間前に ベストアンサー
  • 受付中

    回答
    0

    Pythonの別の関数の値渡し

    Pythonである関数で取得した文字列を別の関数で解析したいのですがPythonの関数の関数での値渡しの方法がいまいちわかっていないのでご教授していただけると助かります。 環境 python3.5.2 import scrapy import re from myproject.items import SceduleItem class Tes

    • 0評価
    • 110PV
    teratailが3週間前に アップデート
  • 受付中

    回答
    0

    scrapyでhtml5の要素を取得し、次のページへ遷移させたい

    scrapyでボケてのページの画像を取得するコードを書いています。 その際に次のページに遷移したいので、html5の role="button"の要素を指定したいのですが 取得方法が不明なため、Filtered offsite request となります。 Googleで検索しても対処法が表示されませんので、どなたかご教授いただければと存じます。 ペ

    • 0評価
    • 71PV
    abab7200 abab7200 3週間前に 質問を編集
  • 解決済

    回答
    1

    Scrapyでうまくリンクが辿れない

    scrapyでクローリングしたいときに RuleとLinkExtractorを使用し、ページを辿りたいのですが、 表示されているページャーの番号のリンクを辿ってしまいます。 次へのリンクをたどるにはどうすればいいでしょうか?

    • 0評価
    • 86PV
    RarigoB RarigoB 4週間前に 回答
  • 解決済

    回答
    1

    scrapyでURL取得してから再度parseさせる方法

    scrapyで start_urls = ['http://xx/'] def parse(self, response): for sel in response.css("div.title-card"): list = Item() list['url'] = sel.css('div.uri').extr

    • 0評価
    • 361PV
    tanakamaruki tanakamaruki 4週間前に ベストアンサー
  • 解決済

    回答
    1

    scrapyで次のページへ遷移しスクレイピングしたいが、Filtered offsite reque...

    scrapyの勉強の為、ぼけての特定URLの画像をスクレイピングしようと考えました。 その際に下記2点が対応できず、解決策をご教授いただければと存じます。 1:次のページに遷移しようとした際にログ上で、許可されていないドメインとして出力されます。 再帰的に次のページへ遷移させたいのですが、このログで停止します。 robots.textでもクローラー回

    • 0評価
    • 128PV
    abab7200 abab7200 1ヶ月前に ベストアンサー
  • 受付中

    回答
    1

    scrapyによる要素の取得方法 Yahooニュース記事タイトル

    前提・実現したいこと scrapyの練習としてhttps://www.yahoo.co.jp/からYahooニュース記事タイトルをスクレイピングしようとしています。 方法はscrapyのsehllからコマンドを入力し、逐一結果を確認しています。 コマンド入力としては scrapy shell https://www.yahoo.co.jp/ を入力後、 r

    • 0評価
    • 118PV
    chapin chapin 1ヶ月前に コメント
  • 解決済

    回答
    1

    scrapyで上手くjsonファイルに保存できない問題について

    scrapyで食べログないのデータを取得しようとして以下のようにItemとspiderを作成し、 scrapy crawl tabelog -o retaurants.jl をコマンド実行しました。一応、retaurants.jlファイルは作成されるのですが、抽出内容が記述されずに、ファイルのみ作成されます。 何か問題があるのでしょうか?ご教授お願い

    • 0評価
    • 105PV
    trafalbad trafalbad 1ヶ月前に ベストアンサー
  • 解決済

    回答
    2

    scrapyでrunspider: error: File not found で出てしまいます

    前提・実現したいこと Scrapy 1.5 documentationを見てspiderを実行しようとしています。しかしながらrunspider: error: File not foundが出てしまいます。 エラーが出ず実行できるようにしたいです。scrapy 1.5.0を使っています。 発生している問題・エラーメッセージ C:\Users\use

    • 1評価
    • 92PV
    chapin chapin 1ヶ月前に コメント
  • 解決済

    回答
    2

    Scrapyで日本語URLをスクレイピングしようとすると、robots.txtが読み込まれない

    python3でScrapyの勉強をしようと思い、 いらすとやの特定ページの画像をローカルにダウンロードしようとしています。 その際にサイトトップはクロールし、画像をローカルに保存できたのですが、 特定のカテゴリーは日本語URLの為robots.txtが読み込まれず、要素の取得ができません。 原因はスクレイピングするURLの問題だと考えているのですが

    • 0評価
    • 66PV
    abab7200 abab7200 1ヶ月前に コメント
  • 解決済

    回答
    1

    chromeを使ったscrapyでのresponse.css()の引数の指定内容について

    scrapyで食べログのサイトから下記のように地図→地図から取得できる写真を取得しました。 In [12]: response.css('img.js-map-lazyload::attr("data-original")').extract_first() Out[12]: 'https://maps.googleapis.com/maps/api

    • 0評価
    • 120PV
    trafalbad trafalbad 1ヶ月前に 回答を編集
  • 解決済

    回答
    1

    google cromeのIEツールでの属性と要素の確認方法について

    pythonのscrapy(scrappy shell)でサイト情報を取得しようとしています。 食べログの下記サイトからレストラン名を取得しようとしました。 scrapy shell https://tabelog.com/tokyo/A1321/A132101/13025978/ >>>>response.css('.display-name')

    • 0評価
    • 76PV
    mix-peach mix-peach 1ヶ月前に ベストアンサー
  • 解決済

    回答
    2

    pythonにscrapyをインストールしたい

    前提・実現したいこと pythonにscrapyをインストールしようとしていますが、以下のようなエラーでインストールすることができませんでした。 プログラミングを始めたばかりですのでなにかアドバイスいただけたら助かります。 発生している問題・エラーメッセージ ------------------------途中から------------------

    • 0評価
    • 222PV
    chapin chapin 1ヶ月前に ベストアンサー
  • 解決済

    回答
    1

    PythonのWebスクレイピングフレームワークであるscrapyでの疑問です。

    scrapy shell でURLを指定するとき、URLに日本語などが混ざっていた場合やURLによって起動しません。、正常に起動しないのですが、理由はなんなのでしょうか。 例として紀伊国屋書店の在庫の情報をクローラーで自動で収集しようと考えたのですが、 https://www.kinokuniya.co.jp/disp/CKnSfStockSearchS

    • 0評価
    • 122PV
    RarigoB RarigoB 2ヶ月前に コメント
  • 解決済

    回答
    1

    スクレイピングする際に相対パスを絶対パスへ変換したい

    Scrapyを利用してリンクURLを取得しています。 その際に相対パスは取得できたのですが、絶対パスへ変換する事ができません。 .urljoinメソッドを利用すれば対応できるかと思うのですが、 yieldのa の部分へurljoinを設定する方法が思いつきませんでした。 import scrapy class AnimeSpider(scrapy.

    • 0評価
    • 109PV
    abab7200 abab7200 2ヶ月前に コメント
  • 解決済

    回答
    1

    scrapyでa要素のリンクを取得したい

    scrapyを使ってサイトをスクレイピングする勉強をしています。 スクレイピングしたい対象のa要素のリンクを取得したいのですが、XPATHの指定方法がまずいのか 対象がNONEになるので、どなたかご教授いただければと存じます。 スクレイピング対象のURL構造 <span class="shoulder" style="height: 12px;"

    • 0評価
    • 81PV
    abab7200 abab7200 2ヶ月前に ベストアンサー
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    39

  • 総質問数

    57

  • 今週の質問数

    2

関連するタグ

Scrapyタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る