「FileNotFoundError: [WinError 2] 指定されたファイルが見つかりません。」を解決したい(WEBスクレイピング)

Question

実現したいこと

Pythonでジモティーのキーワードを、文字列ではなくkeywords.txtから読み取るようにしました。
でも実行すると、途中までは問題なく処理されていますが、しばらくすると下記のエラーが表示されます。
対処法をご存知の方がいらっしゃいましたらご連絡お願いします。

発生している問題・エラーメッセージ

エラーメッセージ
Traceback (most recent call last):
  File "C:\Users\user\scraping_batch\requirements\zimoti_scraping.py", line 120, in <module>
    export_csv(sys.argv)
  File "C:\Users\user\scraping_batch\requirements\zimoti_scraping.py", line 117, in export_csv
    subprocess.run(['open', csv_path])       
  File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.11_3.11.1008.0_x64__qbz5n2kfra8p0\Lib\subprocess.py", line 548, in run
    with Popen(*popenargs, **kwargs) as process:
         ^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.11_3.11.1008.0_x64__qbz5n2kfra8p0\Lib\subprocess.py", line 1024, in __init__
    self._execute_child(args, executable, preexec_fn, close_fds,
  File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.11_3.11.1008.0_x64__qbz5n2kfra8p0\Lib\subprocess.py", line 1509, in _execute_child
    hp, ht, pid, tid = _winapi.CreateProcess(executable, args,
                       ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
FileNotFoundError: [WinError 2] 指定されたファイルが見つかりません。

該当のソースコード

zimoti_scraping.py

import os.path

from bs4 import BeautifulSoup
import datetime
import requests
import csv
import subprocess
import sys
import urllib
import time
from datetime import datetime
from datetime import timedelta
import subprocess

mather_list = []
exclude_player = "石川 太郎"
pages = 2


def mkdir_if_not_exists(path: str) -> None:
    if not os.path.exists(path):
        os.mkdir(path)

def get_date(date, subdate=None):
    if subdate is not None:
        date = date - subdate
    return (str(date.month) + "月" + str(date.day) + "日")

def add_csv_rows(writer, category, keyword, date_from, date_to):
    #keyword = urllib.parse.quote(keyword)
    num = 1
    while num <= pages:
        r = requests.get("https://jmty.jp/all/" + category + "/p-" + str(num) + "?keyword=" + keyword)
        # HTMLソースを取得
        soup = BeautifulSoup(r.text, "html.parser")
        # ソース内の"li"をすべて取得
        lis = soup.find_all(class_="p-articles-list-item")
        # もし、更新日がdate_fromからdate_toの間であれば、その投稿のタイトル、URL、更新日を取得
        try:
            for li in lis:
                div = li.find("div", class_="p-item-additional-info").find("div", class_="u-margin-xs-b")
                post_date = div.text.replace("\n","")
                post_date_pro = datetime.strptime(post_date.replace("更新",""), '%m月%d日').date()
                if datetime.strptime(date_from,"%m月%d日").date() <= post_date_pro <= datetime.strptime(date_to,"%m月%d日").date():
                    list1 = []
                    title_item = li.find("div", class_="p-item-content-info")\
                        .find("div", class_="p-item-title")
                    if title_item is None:
                        continue
                    title = title_item.find("a")
                    if title is None:
                        continue
                    url = title.get("href")
                    player_text = requests.get(url)
                    players_conversation = requests.get(url + "/inquiry")
                    sorce = BeautifulSoup(player_text.text, "html.parser")
                    user = sorce.find(class_ = "u-margin-xl-b")
                    user_name = user.find("a")
                    old_list = sorce.find_all(class_="p-article-column-value")
                    count = 0
                    if user_name.text not in exclude_player:
                        for old in old_list:
                            if "〜" and "歳" in old.text:
                                    if old.text[6] == "\n" or int(old.text[6] + old.text[7]) >= 31:
                                        count = 1
                                        print(title.text)
                                        print(url)
                                        print(post_date)
                                        list1.extend([str(title.text),str(url),str(post_date)])
                                        if list1 not in mather_list:
                                            mather_list.append(list1)
                                    else:
                                        count = 2
                        if count == 0:
                            print(title.text)
                            print(url)
                            print(post_date)
                            list1.extend([str(title.text),str(url),str(post_date)])
                            if list1 not in mather_list:
                                mather_list.append(list1)
        except Exception:
            pass
        num += 1

def export_csv(args):
    # 取得開始日を取得。コマンド例： python zimoti_scraping.py 2(n日前から)
    import datetime
    from_days = 1 if len(args) < 2 else int(args[1])
    date_from = get_date(datetime.date.today(), datetime.timedelta(days=from_days))
    # 取得終了日を取得
    date_to = get_date(datetime.date.today()) if len(args) < 3 else get_date(datetime.date.today(),datetime.timedelta(days=int(args[2])))
    del datetime
    # csvをセット
    csv_path = 'csv/' + date_to + ".csv"
    categories = ["com", "coop"]
    # keywords = "プログラミング,Laravel,php,python,パソコン"
    keywords = ""
    program_keywords = ""
    with open('keywords.txt','r', encoding='utf-8') as f:
        lines = f.readlines()
        program_keywords = lines[0]
    # marketing_keywords = " youtube,脱サラ,起業,副業,動画,動画編集,運営,イベント運営,集客"
    keywords += program_keywords
    # if True:
        # keywords += marketing_keywords
    # keywords="脱サラ,起業,コミュニティ,運営,イベント運営,集客"
    # keywords = "html,css,javascript,vue.js,laravel,php,python,プログラミング,フリーランス,エンジニア,プログラマー"
    mkdir_if_not_exists("csv")
    with open(csv_path, "w", encoding='utf-8', errors='replace') as f:
        writer = csv.writer(f)
        writer.writerow(["タイトル", "url", "更新日"])
        for category in categories:
            for keyword in keywords.split(","):
                add_csv_rows(writer, category, keyword, date_from, date_to)
                time.sleep(1)
        writer.writerows(mather_list)
    subprocess.run(['open', csv_path])

if __name__ == "__main__":
    export_csv(sys.argv)

keywords.txt

html,css,javascript,vue.js,laravel,php,プログラミング,フリーランス,エンジニア,プログラマー,sass,node.js,js

試したこと

https://teratail.com/questions/354502
ファイルのパスが違う？のかと思い、確認しましたが問題なさそうです。

Comments

[meg_]

「発生している問題・エラーメッセージ」でエラーが発生しているのは下記コードですが、
> subprocess.run(['open', csv_path], shell=False)
「該当のソースコード」では下記コードに変わっているようです。
> subprocess.run(['open', csv_path])

「該当のソースコード」で「発生している問題・エラーメッセージ」が起きたのでしょうか？もしかして古いコードを掲載していたりしませんか？

[hfuob]

すみません、間違っていました。該当のソースコードを「subprocess.run(['open', csv_path])」に修正しました。

[melian]

お使いの OS は Windows の様ですが、open コマンドは macos のコマンドかと思います。Windows の場合は start コマンドで代用できるかもしれません。

[hfuob]

openコマンド？「該当のソースコード」で記載したコードの「open」であれば、startに変更してみましたが実行前エラーになるようです。
（"start" is not definedPylancereportUndefinedVariable
(function) start: Any）

[jbpb0]

> 「該当のソースコード」で記載したコードの「open」であれば

「subprocess.run(['open', csv_path])」
の「open」です

「with open(...」の「open」ではありません
(それは変えちゃダメ)

> （"start" is not definedPylancereportUndefinedVariable (function) start: Any）

コードのどこをどのように変えたのでしょうか？

Answer 1

subprocess.run(['open', csv_path])

とか書いてるので、Macかと思ったら、Windowsのようですね。

subprocess.run('start "" "'+csv_path+'"',shell=True)

でしょうか。

Mac用のプログラムを中身を読むことなくコピペして実行したと言うことでしょうかね。