pythonスクレイピング、webhookを用いて、特定のHPからURLをslackに送信する仕組みについて

Question

pythonのスクレイピングを用いて、特定のHPから記事をslackに送信する仕組みを作りたいです。
最終的には1時間に一度HPの更新を確認し、新規記事を自動でslackに届けてくれるような仕組みを考えています。

思考プロセスは
①まず特定のHPから欲しいURLをひっぱてくる
②それをslackに送信できる仕組みを作る
③定期更新を認識する仕組みを作る

と考えています。

##できたこと
a)スラックへのテストメッセージの送信

slack = slackweb.Slack(url="質問なのでこのリンクは隠しています。")
slack.notify(text="テストメッセージ")

b)スクレイピングによる欲しいURLの取得
参考コードの「#ここより上を実行すると、該当URLから記事のリンクをスクレイピングすることができます」に記載の通り欲しいURLのスクレイピングには成功しました。

##コード

import requests
from bs4 import BeautifulSoup
import slackweb

r = requests.get("https://blog.loco-partners.com/")
soup = BeautifulSoup(r.content, "html.parser")

urls = soup.find_all(class_='entry-thumb-link')

for i in urls:
    print(i.get('href'))

#ここより上を実行すると、該当URLから記事のリンクをスクレイピングすることができます

slack = slackweb.Slack(url="質問なのでこのリンクは隠しています。")
slack.notify(text=i)

##課題
テストメッセージの送信・欲しいURLのスクレイピングは個別で行うと機能します。
しかし組み合わせるとうまく機能しません。

##エラーメッセージ
File "slack.py", line 15, in <module>
slack.notify(text=i)
File "/Users/user/.pyenv/versions/3.6.5/lib/python3.6/site-packages/slackweb/slackweb.py", line 26, in notify
return self.send(kwargs)
File "/Users/user/.pyenv/versions/3.6.5/lib/python3.6/site-packages/slackweb/slackweb.py", line 32, in send
payload_json = json.dumps(payload)
File "/Users/user/.pyenv/versions/3.6.5/lib/python3.6/json/init.py", line 231, in dumps
return _default_encoder.encode(obj)
File "/Users/user/.pyenv/versions/3.6.5/lib/python3.6/json/encoder.py", line 199, in encode
chunks = self.iterencode(o, _one_shot=True)
File "/Users/user/.pyenv/versions/3.6.5/lib/python3.6/json/encoder.py", line 257, in iterencode
return _iterencode(o, 0)
File "/Users/user/.pyenv/versions/3.6.5/lib/python3.6/json/encoder.py", line 180, in default
o.class.name)
TypeError: Object of type 'Tag' is not JSON serializable

どこがダメなのか教えていただけると幸いです。

Comments

[t_obara]

そもそも個別の機能は実現出来ているのでしょうか？
slackへの送信単体での機能や定期的に処理をする仕組みなど。
もし出来ていないのであれば、まずは単体で機能を確認して行くことをお勧めします。

[loveapple2002]

ありがとうございます。
質問に追記しました。
定期的に処理する仕組みはまだ作っていません。
slackへのテストメッセージの送信・スクレイピングによるURLの取得はできています。
しかし組み合わせると上手に機能していません。

[t_obara]

組み合わせた際の差分はどの部分になりますか？
というか、ソースは本当に提示通りですか？
すでに回答されていると思いますが、インデントが今のままだとforループ終了後にslack処理を行っていることになります。
もしソースが違うのであれば、正しいコードを改めて質問を修正する形で提示してください。

Answer 1

URLだけ投稿すればよい?

slack.notify(text=i.get('href'))

Answer 2

現状aタグで抽出していないのでhrefが含まれていない可能性あり

forのループ外のためiにはURLは入っていない

forのループ内に入れ、かつ

urls = soup.find_all("a", class_='entry-thumb-link')

に変更してみてください。

抽出するURLは多いのであればまとめて送信したのほうがいいと思います。

import requests
from bs4 import BeautifulSoup

import slackweb

r = requests.get("https://blog.loco-partners.com/")
soup = BeautifulSoup(r.content, "html.parser")
urls = soup.find_all("a", class_="entry-thumb-link")

slack = slackweb.Slack(url="")

for i in urls:
    print(i.get("href"))
    slack.notify(text=i.get("href"))

Comments

[loveapple2002]

import requests
from bs4 import BeautifulSoup
import slackweb

r = requests.get("https://blog.loco-partners.com/")
soup = BeautifulSoup(r.content, "html.parser")
urls = soup.find_all("a",class_='entry-thumb-link')

for i in urls:
print(i.get('href'))

slack = slackweb.Slack(url="隠しています")
slack.notify(text=i)

こういう意味で合っていますか？？
これでも失敗しました

[barobaro]

webhookのURL消したほうがいいですよ

[barobaro]

追記しました

[loveapple2002]

ご指摘ありがとうございます！

[loveapple2002]

うおおおお！！できました！！！解読します！ありがとうございます！

[loveapple2002]

すみません
for i in urls:
print(i.get("href"))
slack.notify(text=i.get("href"))
これを解釈すると「urlsの中からhrefを持つものを記述し、スラックに送る作業を繰りかえす」という意味だとおもいます。
当初僕がしていたように
for i in urls:
print(i.get('href'))
slack.notify(text=i)
こうした場合はどのような解釈になるのでしょうか？
slack.notify(text=i)こうのようにすることでまとめてslackに送信できると思ったのですが、なぜダメなのでしょうか

[barobaro]

slack.notify(text=i)
の代わりに
print(i)
すればわかります