こんにちは、
現在僕は下記の動画で、Webスクレイピングの練習をしています。
https://www.youtube.com/watch?v=4ZCsUYVLuIM&feature=youtu.be
しかし、9:13分のところにエラーが出てきました。(import osのところから)
ネットで色々な解決方法を探して試しましたが、エラーがずっとあります。
出たエラーは下記通りに大体3種類があります。
- [WinError 183] 既に存在するファイルを作成することはできません。->このエラーを解消するため、下記LINK中の対処方法も参考しましたが、場合によっては、2番目と3番目のエラーが出てきました。(LINK:https://reffect.co.jp/python/file-folder-management)
- [WinError 10053] 確立された接続がホスト コンピューターのソウトウェアによって中止されました。
- [WinError 10061] 対象のコンピューターによって拒否されたため、接続できませんでした。
下記は僕が書いているコードです。
from bs4 import BeautifulSoup import outcome import requests import pandas as pd import time keyword = "python" url = "https://kino-code.work/?s={}".format(keyword) r = requests.get(url) time.sleep(3) soup = BeautifulSoup(r.text, 'html.parser') page_na = soup.find(class_="pagination") page_num = page_na.find_all(class_= "page-numbers") pages = [] for i in page_num: pages.append(i.text) urls = [] if not pages: urls = ["https://kino-code.work/?s={}".format(keyword)] else: last_page = int(pages[-2]) for i in range(1,last_page+1): url = "https://kino-code.work/?s={}".format(keyword)+"&page={}".format(i) urls.append(url) links =[] titles=[] snippets = [] for i in range(len(urls)): r = requests.get(urls[i]) time.sleep(3) soup = BeautifulSoup(r.text, "html.parser") get_list_info = soup.find_all("a", class_="entry-card-wrap a-wrap border-element cf") for n in range (len(get_list_info)): get_list_link = get_list_info[n].attrs["href"] links.append(get_list_link) get_list_title = get_list_info[n].attrs["title"] titles.append(get_list_title) get_list_snippet = get_list_info[n].find(class_="entry-card-snippet").text snippets.append(get_list_snippet) result ={ "title" : titles, "link" : links, "snippet" : snippets } df = pd.DataFrame(result) r = requests.get(links[9]) soup = BeautifulSoup(r.text, "html.parser") get_inmage_info = soup.find_all("img") image_list = [] for i in range(len(links)): r = requests.get(links[i]) time.sleep(3) soup = BeautifulSoup(r.text, "html.parser") get_list_image = soup.find_all("img") for n in range(len(get_list_image)): get_image_link = get_list_image[n].attrs["src"] image_list.append(get_image_link) #👇👇👇ここからエラー import os for image_data in image_list: r = requests.get(image_data) time.sleep(3) img_file = open("./test/"+image_data.split("/")[-1],mode="wb") img_file.write(r.content) img_file.close() #👆👆👆ここからエラー files = os.listdir("./test") print(os.path.exists('./test')) if not os.path.exists('./test') : os.mkdir("./test") for image_data in image_list: r = requests.get(image_data) time.sleep(3) img_file = open("./test/"+image_data.split("/")[-1],mode="wb") img_file.write(r.content) img_file.close()
ご存知の方がいれば、教えていただきたくお願いいたします。
以上、よろしくお願いいたします。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。