質問編集履歴
3
誤字
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -53,9 +53,10 @@
|
|
|
53
53
|
[How to use Scrapy with Django Application](https://medium.com/@ali_oguzhan/how-to-use-scrapy-with-django-application-c16fabd0e62e)
|
|
54
54
|
こちらを参考にしているのですが、scrapyをデーモン化するscrapydにscrapyをデプロイする際に
|
|
55
55
|
sys.path.append('/Users/Jun/PycharmProjects/goscrapy')
|
|
56
|
-
だと上手くいくのですが、それ以外だと上手くデプロイできません。
|
|
57
|
-
す
|
|
56
|
+
だと上手くいきます。スクレイピングもできます。
|
|
57
|
+
それ以外だと上手くできません。
|
|
58
58
|
|
|
59
|
+
|
|
59
60
|
参考サイトの表記方法
|
|
60
61
|
scrapy_app/settings.py
|
|
61
62
|
```ここに言語を入力
|
2
追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -44,4 +44,68 @@
|
|
|
44
44
|
sys.path.append('/Users/Jun/PycharmProjects/goscrapy')
|
|
45
45
|
こちらにもどすと動いてくれます。
|
|
46
46
|
なにか勘違いしているのでしょうか？
|
|
47
|
-
よろしくお願いいたします。
|
|
47
|
+
よろしくお願いいたします。
|
|
48
|
+
|
|
49
|
+
|
|
50
|
+
###追記 なにをしたいのか
|
|
51
|
+
scrapyをdjangoから操作したいので
|
|
52
|
+
|
|
53
|
+
[How to use Scrapy with Django Application](https://medium.com/@ali_oguzhan/how-to-use-scrapy-with-django-application-c16fabd0e62e)
|
|
54
|
+
こちらを参考にしているのですが、scrapyをデーモン化するscrapydにscrapyをデプロイする際に
|
|
55
|
+
sys.path.append('/Users/Jun/PycharmProjects/goscrapy')
|
|
56
|
+
だと上手くいくのですが、それ以外だと上手くデプロイできません。
|
|
57
|
+
すでにデプロイしてスクレイピングも出来ています。
|
|
58
|
+
|
|
59
|
+
参考サイトの表記方法
|
|
60
|
+
scrapy_app/settings.py
|
|
61
|
+
```ここに言語を入力
|
|
62
|
+
|
|
63
|
+
import os
|
|
64
|
+
import sys
|
|
65
|
+
|
|
66
|
+
# DJANGO INTEGRATION
|
|
67
|
+
|
|
68
|
+
sys.path.append(os.path.dirname(os.path.abspath('.')))
|
|
69
|
+
# Do not forget the change iCrawler part based on your project name
|
|
70
|
+
os.environ['DJANGO_SETTINGS_MODULE'] = 'iCrawler.settings'
|
|
71
|
+
|
|
72
|
+
# This is required only if Django Version > 1.8
|
|
73
|
+
import django
|
|
74
|
+
django.setup()
|
|
75
|
+
|
|
76
|
+
# DJANGO INTEGRATION
|
|
77
|
+
|
|
78
|
+
## Rest of settings are below ...
|
|
79
|
+
```
|
|
80
|
+
### エラーの表示
|
|
81
|
+
```ここに言語を入力
|
|
82
|
+
(goscrapy) C:\Users\Jun\PycharmProjects\goscrapy\apps\scrapy_app>scrapyd-deploy
|
|
83
|
+
Packing version 1533502405
|
|
84
|
+
Deploying to project "scrapy_app" in http://127.0.0.1:6800/addversion.json
|
|
85
|
+
Server response (200):
|
|
86
|
+
{"node_name": "DESKTOP-DJ3BDQ4", "status": "error", "message": "Traceback (most recent call last):\r\n File \"c:\users\jun\anaconda3\envs\
|
|
87
|
+
goscrapy\lib\runpy.py\", line 193, in _run_module_as_main\r\n \"__main__\", mod_spec)\r\n File \"c:\users\jun\anaconda3\envs\goscrapy
|
|
88
|
+
\lib\runpy.py\", line 85, in _run_code\r\n exec(code, run_globals)\r\n File \"c:\users\jun\anaconda3\envs\goscrapy\lib\site-package
|
|
89
|
+
s\scrapyd\runner.py\", line 40, in <module>\r\n main()\r\n File \"c:\users\jun\anaconda3\envs\goscrapy\lib\site-packages\scrapyd\
|
|
90
|
+
runner.py\", line 37, in main\r\n execute()\r\n File \"c:\users\jun\anaconda3\envs\goscrapy\lib\site-packages\scrapy\cmdline.py\",
|
|
91
|
+
line 110, in execute\r\n settings = get_project_settings()\r\n File \"c:\users\jun\anaconda3\envs\goscrapy\lib\site-packages\scrapy\
|
|
92
|
+
\utils\project.py\", line 68, in get_project_settings\r\n settings.setmodule(settings_module_path, priority='project')\r\n File \"c:\users
|
|
93
|
+
\jun\anaconda3\envs\goscrapy\lib\site-packages\scrapy\settings\__init__.py\", line 292, in setmodule\r\n module = import_module(modu
|
|
94
|
+
le)\r\n File \"c:\users\jun\anaconda3\envs\goscrapy\lib\importlib\__init__.py\", line 126, in import_module\r\n return _bootstrap._g
|
|
95
|
+
cd_import(name[level:], package, level)\r\n File \"<frozen importlib._bootstrap>\", line 994, in _gcd_import\r\n File \"<frozen importlib._boo
|
|
96
|
+
tstrap>\", line 971, in _find_and_load\r\n File \"<frozen importlib._bootstrap>\", line 955, in _find_and_load_unlocked\r\n File \"<frozen imp
|
|
97
|
+
ortlib._bootstrap>\", line 665, in _load_unlocked\r\n File \"<frozen importlib._bootstrap_external>\", line 678, in exec_module\r\n File \"<fr
|
|
98
|
+
ozen importlib._bootstrap>\", line 219, in _call_with_frames_removed\r\n File \"C:\Users\Jun\PycharmProjects\goscrapy\apps\scrapy_app\sc
|
|
99
|
+
rapy_app\settings.py\", line 26, in <module>\r\n django.setup()\r\n File \"c:\users\jun\anaconda3\envs\goscrapy\lib\site-packages\d
|
|
100
|
+
jango\__init__.py\", line 19, in setup\r\n configure_logging(settings.LOGGING_CONFIG, settings.LOGGING)\r\n File \"c:\users\jun\anaconda
|
|
101
|
+
3\envs\goscrapy\lib\site-packages\django\conf\__init__.py\", line 56, in __getattr__\r\n self._setup(name)\r\n File \"c:\users\jun\
|
|
102
|
+
\anaconda3\envs\goscrapy\lib\site-packages\django\conf\__init__.py\", line 43, in _setup\r\n self._wrapped = Settings(settings_module)
|
|
103
|
+
\r\n File \"c:\users\jun\anaconda3\envs\goscrapy\lib\site-packages\django\conf\__init__.py\", line 106, in __init__\r\n mod = impo
|
|
104
|
+
rtlib.import_module(self.SETTINGS_MODULE)\r\n File \"c:\users\jun\anaconda3\envs\goscrapy\lib\importlib\__init__.py\", line 126, in imp
|
|
105
|
+
ort_module\r\n return _bootstrap._gcd_import(name[level:], package, level)\r\n File \"<frozen importlib._bootstrap>\", line 994, in _gcd_imp
|
|
106
|
+
ort\r\n File \"<frozen importlib._bootstrap>\", line 971, in _find_and_load\r\n File \"<frozen importlib._bootstrap>\", line 941, in _find_and
|
|
107
|
+
_load_unlocked\r\n File \"<frozen importlib._bootstrap>\", line 219, in _call_with_frames_removed\r\n File \"<frozen importlib._bootstrap>\",
|
|
108
|
+
line 994, in _gcd_import\r\n File \"<frozen importlib._bootstrap>\", line 971, in _find_and_load\r\n File \"<frozen importlib._bootstrap>\", l
|
|
109
|
+
ine 953, in _find_and_load_unlocked\r\nModuleNotFoundError: No module named 'config'\r\n"}
|
|
110
|
+
|
|
111
|
+
```
|
1
誤字
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,3 +1,6 @@
|
|
|
1
|
+
windows10
|
|
2
|
+
django 2.0.5
|
|
3
|
+
|
|
1
4
|
同じプロジェクト内でdjangoとscrapyを使用しています。
|
|
2
5
|
djangoのmodelなどにscrapyから接続するのにscrapyのsettings.pyに下記のコード書いています。
|
|
3
6
|
|