質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Django

DjangoはPythonで書かれた、オープンソースウェブアプリケーションのフレームワークです。複雑なデータベースを扱うウェブサイトを開発する際に必要な労力を減らす為にデザインされました。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

Q&A

解決済

1回答

1546閲覧

Django上でscrapyのsplashを利用できるでしょうか

MitMc

総合スコア34

Django

DjangoはPythonで書かれた、オープンソースウェブアプリケーションのフレームワークです。複雑なデータベースを扱うウェブサイトを開発する際に必要な労力を減らす為にデザインされました。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Scrapy

Scrapyは、Pythonで開発されたオープンソースソフトウェアです。スクレイピングという、Webサービスから必要な情報を取り出したり自動操作をしたりする技術を使うものです。

0グッド

0クリップ

投稿2019/01/09 22:11

現状、Django上でseleniumを利用し、javascriptサイトをスクレイピングできるようにしているのですが、スピードが遅いので、scrapyのsplashの利用を検討しています。

現在、ローカルにdockerをインストールをしてscrapy-splashの環境構築しているのですが、これをDjango上で利用することは可能なのでしょうか。

現在はローカルサーバーでテスト中ですが、最終的には外部サーバーを利用予定です。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

Django と Scrapy を統合する方法をお探しだと思いますが、

1 scrapy公式の DjangoItem というプラグインを使う - https://github.com/scrapy-plugins/scrapy-djangoitem - scrapy から Djangoモデルデータを保存できるようになります。 2. Djangoプロジェクトから scrapy プロジェクトを呼び出す 3. scrapyプロジェクトから Djangoプロジェクトを呼び出す - https://medium.com/@ali_oguzhan/how-to-use-scrapy-with-django-application-c16fabd0e62e - このブログ記事は2,3を両方やってます。

みたいな方法がパッと思いつきます。 2と3は、単純に片方のプロジェクトから片方のプロジェクトを読み込んで、処理を呼び出してるだけなので、密結合になるので、その辺は注意した方がいいかもしれません。(下手に統合しなかった方がシンプルになる可能性もあるかと思います)

投稿2019/01/15 09:52

tell_k

総合スコア2120

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

MitMc

2019/01/16 03:34

3種類も解決方法をご提案いただき、ありがとうございます。たいへん参考になります。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問