回答編集履歴

Fix code

2020/08/10 06:03

投稿

y_shinoda

スコア3272

test CHANGED Viewed

@@ -610,7 +610,7 @@
-list_response = ParallelHtmlScraper.execute(f'{host_google}', path_and_content, AnalyzerForTest())
+list_response = ParallelHtmlScraper.execute(host_google, path_and_content, AnalyzerForTest())
 print(list_response)
@@ -624,9 +624,9 @@
 ```python
-$ python test.py
+$ pipenv run python test.py
-['Google', 'Google 画像検索', 'Google ショッピング', 'コレクション', 'Google マップ', '\n        Google ドライブ\n    ', '\n        Gmail - Google のメール\n    ']
+['Google 画像検索', ' Google マップ ', '\n      Gmail - Google のメール\n    ', 'Google ショッピング', 'Google', '\n      Google ドライブ\n    ', 'コレクション']
 ```

Fix code

2020/08/10 06:02

投稿

y_shinoda

スコア3272

test CHANGED Viewed

@@ -610,7 +610,7 @@
-list_response = ParallelHtmlScraper.execute(f'{host_google}', path_and_content.keys(), AnalyzerForTest())
+list_response = ParallelHtmlScraper.execute(f'{host_google}', path_and_content, AnalyzerForTest())
 print(list_response)

Fix link to Stack Overflow

2020/08/08 03:09

投稿

y_shinoda

スコア3272

test CHANGED Viewed

@@ -98,7 +98,7 @@
-参考: [Answer: How could I use requests in asyncio? ](https://stackoverflow.com/a/47572164/12721873)
+参考: [Answer: How could I use requests in asyncio? ](https://stackoverflow.com/a/22414756/12721873)

Fix answer that mistook intention of question

2020/07/01 21:46

投稿

y_shinoda

スコア3272

test CHANGED Viewed

@@ -62,6 +62,46 @@
+## スレッドから非同期への変更
+次の箇所を変更します:
+```python
+    with ThreadPoolExecutor(max_workers=2) as pool:
+        threads = [res for res in pool.map(check_url, urls)]
+```
+↓
+```python
+    async def asynchronous_process(urls):
+        loop = asyncio.get_event_loop()
+        futures = [loop.run_in_executor(None, check_url, url) for url in urls]
+        await asyncio.gather(*futures)
+    asyncio.run(asynchronous_process(urls))
+```
+参考: [Answer: How could I use requests in asyncio? ](https://stackoverflow.com/a/47572164/12721873)
 ## 検証
@@ -72,6 +112,8 @@
 ```python
+import asyncio
 import requests
 import json
@@ -86,7 +128,7 @@
 from bs4 import BeautifulSoup
-from concurrent.futures import ThreadPoolExecutor
+# from concurrent.futures import ThreadPoolExecutor
@@ -160,8 +202,6 @@
     def check_url(target_url, headers=headers, proxies=proxies, retry=3):
         for i in range(retry):
@@ -174,8 +214,6 @@
                 #ここ↓のリクエストが時間がかかるので非同期処理をさせたい
                 req = requests.get(
                     target_url, headers=headers, proxies=proxies, allow_redirects=False
@@ -186,6 +224,8 @@
                 target_urlll = re.sub("(.*)(?=/)|/|(?=?)(.*)", "", target_url)
+                print(target_url)
                 print(str(req.status_code) + "\t" + target_urlll)
@@ -344,7 +384,7 @@
-                # return
+                return
             except requests.exceptions.ConnectTimeout:
@@ -376,13 +416,23 @@
-    threads = []
+    # threads = []
-    with ThreadPoolExecutor(max_workers=2) as pool:
+    # with ThreadPoolExecutor(max_workers=()) as pool:
-        threads = [res for res in pool.map(check_url, urls)]
+    #     threads = [res for res in pool.map(check_url, urls)]
+    async def asynchronous_process(urls):
+        loop = asyncio.get_event_loop()
+        futures = [loop.run_in_executor(None, check_url, url) for url in urls]
+        await asyncio.gather(*futures)
+    asyncio.run(asynchronous_process(urls))
@@ -440,12 +490,16 @@
 ```console
-$ pipenv run python test2.py
+$ pipenv run python test.py
 https://www.yahoo.co.jp/
 200
+https://www.facebook.com/
+302
 https://www.google.com/
 200
@@ -454,10 +508,6 @@
 200
-https://www.facebook.com/
-302
 https://www.instagram.com/
 200
@@ -472,7 +522,7 @@
-elapsed_time:1.1018426418304443[sec]
+elapsed_time:0.526411771774292[sec]
@@ -482,7 +532,9 @@
+レスポンスの早さの違いによって
-レスポンスの早さによって結果が入れ替わっているのがわかります
+実行結果の出力順が `list.txt` の順序と入れ替わっているのがわかります
@@ -490,7 +542,7 @@
-以前にほぼ同様のことを実現するためのライブラリーを作成しました
+以前にほぼ同様のことを実現するためのパッケージを作成しました
@@ -504,9 +556,11 @@
-ライブラリーとして使えば再発明の必要がなくなりますし、
+パッケージとして使えば再発明の必要がなくなりますし、
+パッケージのコードの中身を読んでいただくと、
-コードの中身を読んでいただくと、どのように実装すべきかが理解いただけると思います
+どのように実装すべきかが理解いただけると思います
@@ -544,11 +598,11 @@
     '/shopping?hl=ja&source=og&tab=wf',                           # Google ショッピング
-    '/save',                                                      # Google Collection
+    '/save',                                                      # コレクション
-    'https://www.google.co.jp/maps',                              # Google Maps
+    'https://www.google.co.jp/maps',                              # Google マップ
-    'https://www.google.co.jp/drive/apps.html',                   # Google Drive
+    'https://www.google.co.jp/drive/apps.html',                   # Google ドライブ
     'https://www.google.co.jp/mail/help/intl/ja/about.html?vm=r', # GMail
@@ -575,3 +629,13 @@
 ['Google', 'Google 画像検索', 'Google ショッピング', 'コレクション', 'Google マップ', '\n        Google ドライブ\n    ', '\n        Gmail - Google のメール\n    ']
 ```
+このパッケージを実装していたときは、
+とにかく公式ドキュメントばかりを読んでいた記憶があります
+[コルーチンと Task — Python 3.8.4rc1 ドキュメント](https://docs.python.org/ja/3.8/library/asyncio-task.html)

Update description

2020/07/01 21:40

投稿

y_shinoda

スコア3272

test CHANGED Viewed

@@ -6,7 +6,7 @@
-1.
+1
 `ThreadPoolExecutor()` の引数 `max_workers` に int 型の値を設定します:
@@ -34,7 +34,7 @@
-2.
+2
 少なくとも、同じリソースへの繰り返しアクセスは 1 秒以上間隔を空けた方が良いでしょう:
@@ -506,7 +506,11 @@
 ライブラリーとして使えば再発明の必要がなくなりますし、
-コードを読んでいただくと、どのように実装すべきかが理解いただけると思います
+コードの中身を読んでいただくと、どのように実装すべきかが理解いただけると思います
+ライブラリーの利用例: