Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

RSS

  • 受付中

    回答
    2

    Pythonクローリング＆スクレイピングのサンプルコードを実行したが、エラーが発生する

    前提・実現したいこと Pythonクローリング＆スクレイピング ―データ収集・解析のための実践開発ガイド― http://gihyo.jp/book/2017/978-4-7741-8367-1/support 上記のサンプルコードをダウンロードし、6-7のtabelogというプログラムを実行しましたが、エラーが発生しました。 前提・実現したいこと 食べ

    • 0評価
    • 66PV
    • Python

      2711questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    nozomu.i nozomu.i 1時間前に コメント

  • 受付中

    回答
    3

    javascriptのgetElementsByxxを利用してボタンクリックする方法

    <html> <head></head> <body> <form class="login-form"> <button class="btn login-button btn-submit btn-small" type="submit" autocomplete="off" tabindex="0" data- reactid="25"><

    • 0評価
    • 106PV
    • JavaScript

      9531questions

      JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    OsCh OsCh 2週間前に 回答

  • 受付中

    回答
    1

    pythonからウェブのheader取得時bから始まる文字が含まれる

    以下のコードでresponse.headersをloggerで確認すると レスポンスにbから始まる文字が含まれてます。 def browse(self, response): self.logger.info("here is browse-------"+ str(response.headers)) response {b'Server'

    • 0評価
    • 35PV
    • Python 3.x

      1511questions

      Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    can110 can110 2週間前に 回答

  • 受付中

    回答
    1

    KeyboardInterruptによって、twistedのreactorを終了させたい

    実現したいこと KeyboardInterrupt(つまりCtrl-cを押した時)によって、twistedのreactorを終了させたい 発生している問題 PythonのScrapyライブラリを使ってスクレイピングをしようとしています。 以下のスクリプトのように、スクレイピングの開始をスクリプトから制御しています。 from scrapy.crawl

    • 0評価
    • 40PV
    • Python 3.x

      1511questions

      Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    pashango2 pashango2 1ヶ月前に 回答

  • 解決済

    回答
    1

    [python]scrapyフレームワークを使用したxmlサイトマップのクローラーについて

    pythonのscrapyフレームワークを使ってxmlサイトマップからクロールしてページのタイトルを取得しようと試みています。 クロール自体は出来るのですが、下記のエラーが出てタイトルの取得がうまくいきません。 何が悪いのでしょうか？ エラーメッセージ Traceback (most recent call last): File "/usr/local

    • 0評価
    • 64PV
    • Python 3.x

      1511questions

      Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    wayaya wayaya 1ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    数値を読み込んでグラフ化したい

    いつもお世話になっております。 発生している問題・エラーメッセージ with open("aiueo.csv", "rb") as f: 読み込もうとしているファイルを ax.plot(f[:,10], f[:,9], "x", color="r", ms=24, mew=0.5) という風に実行しようと試みたが、 TypeError: 'f

    • 0評価
    • 163PV
    • Matplotlib

      79questions

      MatplotlibはPythonのおよび、NumPy用のグラフ描画ライブラリです。多くの場合、IPythonと連携して使われます。

    • NumPy

      171questions

      NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

    • OpenCV

      473questions

      OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。

    • Python 2.7

      782questions

      Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    Penefax Penefax 1ヶ月前に コメント

  • 解決済

    回答
    2

    python3でScrapyをインストール時のエラーについて

    初歩的な質問ですいません。 Python勉強中の者です。Python3.Xでpip install Scrapyでインストール時にpython3でScrapyをインストール時に以下のようなエラーが出ます。同じ質問で解決した方がいたので参照したのですが、当方には理解できず、、対処方法をご教示下さい！宜しくお願いいたします。 Installing colle

    • 0評価
    • 211PV
    • Python 3.x

      1511questions

      Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    • pip

      81questions

      pipとは、Pythonを用いて書かれているパッケージソフトのインストールや管理を行うためのパッケージマネジメントシステムです。pipを使う主なメリットは、コマンドラインインターフェースにて容易にPythonパッケージソフトをインストール可能だという点です。

    InpactSumo InpactSumo 1ヶ月前に ベストアンサー

  • 受付中

    回答
    0

    scrapyでURL取得してから再度parseさせる方法

    scrapyで start_urls = ['http://xx/'] def parse(self, response): for sel in response.css("div.title-card"): list = Item() list['url'] = sel.css('div.uri').extr

    • 0評価
    • 120PV
    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    teratailが2ヶ月前に アップデート

  • 解決済

    回答
    2

    PythonでスクレイピングしたデータをMySQLに挿入する

    初歩的な質問になるかと思いますが、教えて頂けますと幸いです.. PythonでスクレイピングしたデータをMySQLに挿入しようとしているのですが、 1つのページで取得したデータが大量の場合の挿入の仕方が分からず困っております。 例をあげると、 http://www.python-izm.com/contents/external/mysql.sh

    • 0評価
    • 299PV
    • Python

      2711questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • MySQL

      3795questions

      MySQL（マイエスキューエル）は、TCX DataKonsultAB社などが開発するRDBMS（リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    kawa-kami kawa-kami 2ヶ月前に コメント

  • 解決済

    回答
    2

    Python3.6.1を用いてScrapyをインストールしたいがエラーが大量にでてインストールできな...

    使用環境について python3.6.1 Windows10 はまっている問題について Python3.6.1を先日インストールしたのですが、今度はScrapyをインストールしようと思い、 pip install Scrapyとコマンドしました。 そうしたところ、以下のようなエラーが大量にでてインストールできませんでした。 発生している

    • 0評価
    • 514PV
    • Python 3.x

      1511questions

      Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    watarusugimoto watarusugimoto 3ヶ月前に コメント

  • 解決済

    回答
    4

    Python3でscrapyのインストールに失敗します。

    環境は CentOS6系でPython3.5.3です。 pipでscrapyをインストールしようとすると下記エラーとなります。 gcc gcc-c++ kernel-devel libffi-devel python-devel openssl-devel libxslt-devel openssl pyOpenSSL などを入れてみたり、色々検索し

    • 0評価
    • 247PV
    • Python 3.x

      1511questions

      Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    noripi noripi 4ヶ月前に コメント

  • 解決済

    回答
    1

    scrapyのデーモンを使う場合の正しい挙動

    環境 Windows10,Python3, scrapy1.2, scarpyd(githubのpull requestを利用して無理やりpython3で動くようにしました) 質問内容 scrapydを使ってscrapyのspiderをある一定間隔で自動実行させたいのですが、1回しか行ってくれません。 1回目の時に、spiderがfinishして

    • 0評価
    • 301PV
    • Python 3.x

      1511questions

      Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    nagaetty nagaetty 7ヶ月前に ベストアンサー

  • 受付中

    回答
    0

    クローリング　ページ移動

    現在、Rubyを用いてAmazonサイトから書籍のタイトル、画像のクローリングを行っています。 そこで、 Amazon.co.jp: 文芸作品 - 文学・評論: 本 上記のページ内の作品名は抽出することは出来ました。 しかし、次のページへクローリングさせる方法がわかりません。 Rubyのライブラリでnokogiriとanemoneを使って、

    • -3評価
    • 243PV
    • Ruby

      4331questions

      Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    snoooopy snoooopy 8ヶ月前に 質問を編集

  • 解決済

    回答
    1

    【python scrapy】parser間での変数共有【DB構築】

    scrapyで得たデータを用いてデータベースを構築しています。 ページの種類に応じてparser1とparser2を使い分けていて、それぞれを別々のテーブルに格納しています。また、parser1とparser2に共通の変数hogeをキーにして、テーブル間のリレーションを取ろうとしてるのですが、データの表記揺れによりうまくリレーションが取れないデータが発生し

    • 0評価
    • 409PV
    • Python

      2711questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • データベース

      463questions

      データベースとは、データの集合体を指します。また、そのデータの集合体の共用を可能にするシステムの意味を含めます

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    gax gax 9ヶ月前に 回答

  • 解決済

    回答
    2

    webデータをスクレイピングしたいがうまくできません。

    rubyでwebデータをスクレイピングしようとしています。 データ元のウェブサイトのソースを見るとjavascriptでデータを呼び出しているようで一部のデータはとれますが元のデータを全てとることができないです。 どのような手法をとれば解決できそうか教えていただきたいです。 お願いします。 データ元URL http://int.soccerway.

    • 0評価
    • 356PV
    • Ruby

      4331questions

      Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    matumatu matumatu 10ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    「超初歩」rubyのscrapingについて[anemone]

    前提・実現したいこと ルビーでwebスクレイピングをしようと考えているのですが なかなか上手く行きません…。タグ名を取得したいのですがなかなか出来なくて とても初歩的な質問ですみません。 発生している問題・エラーメッセージ 要素が取得できない。 該当のソースコード require 'nokogiri' require 'anemone

    • 0評価
    • 488PV
    • Ruby

      4331questions

      Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

    • XPath(XML Path)

      36questions

      XML Path Language （XPath; XMLパス言語）は、マークアップ言語 XML に準拠した文書の特定の部分を指定する言語構文の事をいいます。XPathはXMLとは別の構文を使用します。XMLドキュメントの抽象、論理ストラクチャ上で動作します。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    m-izuki m-izuki 1年以上前に ベストアンサー

  • 受付中

    回答
    0

    scrapyをインストールしたのですが、うまく動きません

    pythonでscrapyを使おうと思ったのですが、scrapyをeasy_installでインストール後(pipではうまくインストールできなかったので)、コマンドプロンプトから下のコードを実行したところ、DistributionNotFoundというエラーが出ました。 実行したコード >scrapy startproject tutorial

    • 0評価
    • 522PV
    • Python 2.7

      782questions

      Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    teratailが1年以上前に アップデート

  • 受付中

    回答
    1

    PythonのScrapyをインストールしようとしたらエラーでインストールできない

    PythonのScrapyをインストールしようとしたらエラーがでました。 pip install scrapy ↓ Command "python setup.py egg_info" failed with error code 1 in /private/tmp/pip-build-AUd_G6/cffi で正常にインストールできません。 みなさ

    • 0評価
    • 906PV
    • Python

      2711questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    NM3 NM3 1年以上前に コメント

  • 受付中

    回答
    0

    [Python]Scrapyでクロール済みのURLを再クロールしない方法

    Scrapyでクロールをしているのですが、一度目にクロールしたURLを、二度目のクロールでは避けたいのですが、方法はありますでしょうか？ 例えば、毎日同じWebサイトをクロールするとして、昨日あるいはこれまでクロールしたページを再クロールしない方法が知りたいです。 方法をご存知の方は、ご教示いただければ光栄です。 よろしくお願いいたします。

    • 0評価
    • 684PV
    • Python

      2711questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    RioNishino RioNishino 1年以上前に 質問

  • 解決済

    回答
    1

    [Python]ScrapyのIgnoringについて

    PythonのフレームワークのScrapyを使ってWebクローラーを試しています。 クロールして、各URLをJSONで保存しようとしているのですが、DEBUG: Ignoring link (depth > 5)と表示される箇所があり、そこのURLが取得できません。結構な数のデータが取得できずに困っています。 これはどういうエラーなのでしょうか？ また対

    • 0評価
    • 627PV
    • Python

      2711questions

      Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

    • Scrapy

      22questions

      Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

    RioNishino RioNishino 1年以上前に コメント
1
  • 1
  • 2

次のページchevron_right

タグ情報

  • あなたの順位

    -位

  • タグ登録者数

    23人

  • 総質問数

    22件

  • 今週の質問数

    1件

関連するタグ

  • プロトタイピング

    1questions

  • MQL4

    6questions

    MQL4とは、MT4（MetaTrader4）で用いられるプログラム言語です。MT4は無料で使えるチャートソフトあり、MQL4を使うことで分析ツールのオリジナルスクリプトの作成ができます。

  • enchant.js

    14questions

    enchant.jsとは、アプリやゲームを簡単に開発できるオープンソースのHTML5+JavaScriptベースのフレームワークです。プログラミング学習にも用いられ、多くの素材やプラグインが用意されています。

  • ファイルI/O

    21questions

    ファイルI/Oは、コンピューターにおけるファイルの入出力です。これは生成/削除やファイルを読み込んだり、出力をファイルに書き込むようなディレクトリやファイルの運用を含みます。

  • float(CSS)

    13questions

    これはCSSのfloatプロパティのタグです。指定された要素を左または右に寄せて配置する際に使用します。

  • タッチパネル

    4questions

    タッチパネルとは、画面に指やペンで直接触れてコンピューターを操作する電子機器のことです。表示装置と入力装置の2つの機能を組み合わせたデバイスです。

  • Google Analytics API

    11questions

    Google Analytics APIは、アクセス解析機能が行える API（Application Programming Interface）です。

  • iMacros

    6questions

    iMacrosは、internet explorer、Firefox、Google Chromeのブラウザ上で起動させて使うアドオン。パソコンの記録と再生を容易に行うことが可能です。ブラウザ上の作業を自動化することで、作業効率を上げることができます。

  • TensorFlow

    204questions

  • FancyBox

    2questions

    FancyBoxはウェブページ上の画像、HTMLコンテンツ、マルチメディアにズーム機能を加えてくれるツールです。

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る