質問編集履歴
8
タグ編集
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -12,7 +12,7 @@
|
|
|
12
12
|
|
|
13
13
|
```
|
|
14
14
|
|
|
15
|
-
を行ってからcloud functionのコマンドラインにて
|
|
15
|
+
を行ってからcloud functionのpythonコマンドラインにて
|
|
16
16
|
|
|
17
17
|
```python
|
|
18
18
|
|
7
依頼に対応
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -12,7 +12,7 @@
|
|
|
12
12
|
|
|
13
13
|
```
|
|
14
14
|
|
|
15
|
-
を行ってから
|
|
15
|
+
を行ってからcloud functionのコマンドラインにて
|
|
16
16
|
|
|
17
17
|
```python
|
|
18
18
|
|
|
@@ -20,7 +20,7 @@
|
|
|
20
20
|
|
|
21
21
|
```
|
|
22
22
|
|
|
23
|
-
を行
|
|
23
|
+
を実行すると下記のエラーコードが出てきます。
|
|
24
24
|
|
|
25
25
|
```python
|
|
26
26
|
|
|
@@ -38,10 +38,12 @@
|
|
|
38
38
|
|
|
39
39
|
sudo pip3 uninstall enum34
|
|
40
40
|
|
|
41
|
+
sudo pip uninstall enum34
|
|
42
|
+
|
|
41
43
|
```
|
|
42
44
|
|
|
43
|
-
をして
|
|
45
|
+
をしておりますが上記のエラーが出たままです。
|
|
44
46
|
|
|
47
|
+
解決方法がありましたらご教示いただけますと幸いです。
|
|
45
48
|
|
|
46
|
-
|
|
47
|
-
し
|
|
49
|
+
スクレイピングでしようしているSeleniumの関係上 Pythonのバージョンは 2.7.16です。
|
6
しばらくお待ちください。
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -36,20 +36,12 @@
|
|
|
36
36
|
|
|
37
37
|
```python
|
|
38
38
|
|
|
39
|
-
pip uninstall enum34
|
|
39
|
+
sudo pip3 uninstall enum34
|
|
40
40
|
|
|
41
41
|
```
|
|
42
42
|
|
|
43
|
-
をして
|
|
43
|
+
をして
|
|
44
|
-
|
|
45
|
-
```python
|
|
46
|
-
|
|
47
|
-
PermissionError: [Errno 13] Permission denied:
|
|
48
|
-
|
|
49
|
-
```
|
|
50
|
-
|
|
51
|
-
となってしまいます。
|
|
52
44
|
|
|
53
45
|
|
|
54
46
|
|
|
55
|
-
|
|
47
|
+
しばらくお待ちください。
|
5
依頼に対応
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
|
|
1
|
+
Cloud Functionsにてデータを読み書きする方法。
|
test
CHANGED
|
@@ -1 +1,55 @@
|
|
|
1
|
-
|
|
1
|
+
Google Cloud Platform (GCP)のCloud Functionsを使用してスクレイピングをしています。差分を通知したいため，スクレイピングの内容を保存したいと考えております。
|
|
2
|
+
|
|
3
|
+
Firestoreを使用し，
|
|
4
|
+
|
|
5
|
+
https://cloud.google.com/firestore/docs/quickstart-servers?hl=ja#python_1
|
|
6
|
+
|
|
7
|
+
こちらの内容で
|
|
8
|
+
|
|
9
|
+
```python
|
|
10
|
+
|
|
11
|
+
pip install --upgrade google-cloud-firestore
|
|
12
|
+
|
|
13
|
+
```
|
|
14
|
+
|
|
15
|
+
を行ってから
|
|
16
|
+
|
|
17
|
+
```python
|
|
18
|
+
|
|
19
|
+
from google.cloud import firestore
|
|
20
|
+
|
|
21
|
+
```
|
|
22
|
+
|
|
23
|
+
を行うと下記のエラーコードが出てきます。
|
|
24
|
+
|
|
25
|
+
```python
|
|
26
|
+
|
|
27
|
+
AttributeError: module 'enum' has no attribute 'IntFlag'
|
|
28
|
+
|
|
29
|
+
```
|
|
30
|
+
|
|
31
|
+
そこで
|
|
32
|
+
|
|
33
|
+
https://blog.goo.ne.jp/field_light/e/1d6e42b4e9322b5f5546ca89a4e7a7a6
|
|
34
|
+
|
|
35
|
+
こちらを参考にして
|
|
36
|
+
|
|
37
|
+
```python
|
|
38
|
+
|
|
39
|
+
pip uninstall enum34
|
|
40
|
+
|
|
41
|
+
```
|
|
42
|
+
|
|
43
|
+
をしても
|
|
44
|
+
|
|
45
|
+
```python
|
|
46
|
+
|
|
47
|
+
PermissionError: [Errno 13] Permission denied:
|
|
48
|
+
|
|
49
|
+
```
|
|
50
|
+
|
|
51
|
+
となってしまいます。
|
|
52
|
+
|
|
53
|
+
|
|
54
|
+
|
|
55
|
+
使用しているのはスクレイピング用のseleniumの関係上，python2.7です。
|
4
しばらくお待ちください。
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
|
|
1
|
+
しばらくお待ちください。
|
test
CHANGED
|
@@ -1,5 +1 @@
|
|
|
1
|
-
2021/08/10 13:02
|
|
2
|
-
|
|
3
|
-
|
|
4
|
-
|
|
5
|
-
|
|
1
|
+
「やってほしいことだけを記載した丸投げの質問」とのご指摘を頂き，自分でもう少し試行錯誤させて頂きたく思い，質問内容が無くなってしまったため，しばらくお待ちください。
|
3
やってほしいことだけを記載した丸投げの質問であったため削除し改めて質問する。
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
|
|
1
|
+
やってほしいことだけを記載した丸投げの質問
|
test
CHANGED
|
@@ -1,21 +1,5 @@
|
|
|
1
|
-
|
|
1
|
+
2021/08/10 13:02
|
|
2
|
-
|
|
3
|
-
スクレイピングでwebサイトに前回の時と差分があった時のみ通知したいので，スクレイピング結果を保存&読み出しする方法を下記条件で最適な実装があればご教示ください。
|
|
4
2
|
|
|
5
3
|
|
|
6
4
|
|
|
7
|
-
条件として
|
|
8
|
-
|
|
9
|
-
|
|
5
|
+
複数のユーザーから「やってほしいことだけを記載した丸投げの質問」という意見がありました
|
|
10
|
-
|
|
11
|
-
・スクレイピングのseleniumを動かすためにpython2.7を使用しているので出来ればpythonで揃えたい。
|
|
12
|
-
|
|
13
|
-
・保存する情報量としては，テキスト10数文字（ファイルサイズにすると2kbくらいです），アクセス頻度は24時間毎に新しい内容を上書きする。保存期間はこのcloud functionsを動かしている間ずっとです。
|
|
14
|
-
|
|
15
|
-
|
|
16
|
-
|
|
17
|
-
私が自分で調べたところbigqueryを使用する方法があったのですが，bigqueryだと情報をbigqueryに保存するときにお金がかかってしまうとの情報も見かけました。
|
|
18
|
-
|
|
19
|
-
|
|
20
|
-
|
|
21
|
-
よろしくお願いいたします。
|
2
条件を追記
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -10,7 +10,7 @@
|
|
|
10
10
|
|
|
11
11
|
・スクレイピングのseleniumを動かすためにpython2.7を使用しているので出来ればpythonで揃えたい。
|
|
12
12
|
|
|
13
|
-
・保存する情報量としては，テキスト10数文字（2kbくらいです），アクセス頻度は24時間毎に新しい内容を上書きする。
|
|
13
|
+
・保存する情報量としては，テキスト10数文字（ファイルサイズにすると2kbくらいです），アクセス頻度は24時間毎に新しい内容を上書きする。保存期間はこのcloud functionsを動かしている間ずっとです。
|
|
14
14
|
|
|
15
15
|
|
|
16
16
|
|
1
語尾を修正
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
Google Cloud Platform でスクレイピングした
|
|
1
|
+
Google Cloud Platform でスクレイピングした結果を保存，読み出しする方法。
|
test
CHANGED
|
@@ -6,11 +6,11 @@
|
|
|
6
6
|
|
|
7
7
|
条件として
|
|
8
8
|
|
|
9
|
-
・0円のAlways Free（この先3年ほど動かしたいので初回無料特典ではなく）で実装したい
|
|
9
|
+
・0円のAlways Free（この先3年ほど動かしたいので初回無料特典ではなく）で実装したい。
|
|
10
10
|
|
|
11
|
-
・スクレイピングのseleniumを動かすためにpython2.7を使用しているので出来ればpythonで揃えたい
|
|
11
|
+
・スクレイピングのseleniumを動かすためにpython2.7を使用しているので出来ればpythonで揃えたい。
|
|
12
12
|
|
|
13
|
-
・保存する情報量としては，テキスト10数文字（2kbくらいです），アクセス頻度は24時間毎に新しい内容を上書き
|
|
13
|
+
・保存する情報量としては，テキスト10数文字（2kbくらいです），アクセス頻度は24時間毎に新しい内容を上書きする。
|
|
14
14
|
|
|
15
15
|
|
|
16
16
|
|