pythonでWEBサイトの更新を通知

Question

python3で企業のHPに記載されているセミナー情報が更新されたらSlackに通知するソフトを作りたいです。
下記サイトを参考に作成しましたが、コードを実行してもcsvファイルは作成されません。
https://qiita.com/ryo-futebol/items/235c212fdfc3704b7e9c

プリントしているものは全て出力されます。
どこに原因があるかわかるかたいらっしゃいましたら教えていただきたいです。
slackに通知する部分はまだ作成していません。

import csv
import os
import sys
import requests

import slackweb
import pandas as pd
from bs4 import BeautifulSoup

def scraping():
    url = 'https://www.salesforce.com/jp/events/webinars/'
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'html.parser')
    result = []
    for top_news in soup.find_all(class_='isp'):
        result.append([
            top_news.text,
            top_news.get('href')
        ])
    return result
print('1')

def output_csv(result):
    with open('last_log.csv', 'w', newline='',encoding='utf_8') as file:
        headers = ['Title', 'URL']
        writer = csv.writer(file)
        writer.writerow(headers)
        for row in result:
            writer.writerow(row)
print('2')

def read_csv():
    if not os.path.exists('last_log.csv'):
        raise Exception('ファイルがありません。')
    if os.path.getsize('last_log.csv') == 0:
        raise Exception('ファイルの中身が空です。')
    csv_list = pd.read_csv('last_log.csv', header=None).values.tolist()
    return csv_list
print('3')

def list_diff(result, last_result):
    return_list = []
    for tmp in result:
        if tmp not in last_result:
            return_list.append(tmp)
    return return_list
print('4')

Answer 1

おはようございます。

問題文読ませていただきました。

こんな感じでいかがでしょうか？

import csv
import os
import requests

import slackweb
import pandas as pd
from bs4 import BeautifulSoup

# セミナー内容をスクレイピングする。


def scraping():
    url = 'https://www.salesforce.com/jp/events/webinars/'
    res = requests.get(url)
    # スクレピング内容を整形する。
    soup = BeautifulSoup(res.content, 'html.parser')
    # リンク要素一覧を取得する。
    linkList = soup.find_all(class_='abstract-register')
    i = 0
    result = []
    for topNews in soup.find_all(class_='text-link'):
        result.append([
            # replace : 改行、空白の削除を行う。
            topNews.text.replace(' ', '').replace('\n', ''),
            linkList[i].get('href'),
        ])
        i += 1
    return result


# 新規で追加されたセミナー情報をファイルへ書き込む。
def outputCsv(result):
    with open('last_log.csv', 'w', newline='', encoding='utf_8') as file:
        headers = ['Title', 'URL']
        writer = csv.writer(file)
        writer.writerow(headers)
        for row in result:
            writer.writerow(row)

# 過去セミナーログファイル読み込み


def readCsv():
    if not os.path.exists('last_log.csv'):
        raise Exception('ファイルがありません。')
    if os.path.getsize('last_log.csv') == 0:
        raise Exception('ファイルの中身が空です。')
    # 1行目は無視する。
    return pd.read_csv('last_log.csv', header=0).values

# 過去セミナーと取得したセミナー情報の精査を行う。


def listDif(result, lastResult):
    resList = []
    for lstRes in lastResult:
        resList.append([lstRes[0], lstRes[1]])
    for tmp in result:
        if tmp not in lastResult:
            resList.append(tmp)
    return resList


res = listDif(scraping(), readCsv())

outputCsv(res)

ご確認のほど、よろしくお願いいたします。????‍♂️

Comments

[hide09090909]

ご丁寧にコードを作成いただきありがとうございます。
実行したところ下記エラーが表示されてしまいました。
確かにcsvファイルも生成されておりませんでした、何が原因でしょうか？

Traceback (most recent call last):
File "test.py", line 64, in <module>
res = listDif(scraping(), readCsv())
File "test.py", line 45, in readCsv
raise Exception('ファイルがありません。')
Exception: ファイルがありません

[退会済みユーザー]

なるほど。。
・同ディレクトリ内へlast_log.csvファイルを作成する。
・Title,URL を書き込む。
・pythonファイルを実行する。

をお願いいたします。????‍♂️

Answer 2

ファイルを実行すると1,2,3,4が出力されるということを言っているのだとすると、そもそも関数を定義しているだけで、どこでも実行(呼び出し)していないからではないでしょうか？