WEBスクレイピング

Question

PythonによるWEBスクレイピングを試みています。

モジュールは、requestsとbs4を採用しています。
環境は、Windows＋ChromeにJupyter Notebook、Python3です。

import requests
from bs4 import BeautifulSoup

url = "foobar"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}

html = requests.post(url, headers=headers)
print(html)

soup = html.text
print(soup)

beautiful = BeautifulSoup(soup)

res = beautiful.find_all("span")
print(res)

print関数で検証していると、どうも変数htmlをprintしたところで、取得ができなくなっているようです。
ただ、不思議なのですが、時間をおいたうえで、実行してみると初回だけはしっかりとデータを取得できているので、スクレイピングができないわけではなさそうです。
ブラウザキャッシュの問題かと思い、クリアをしてみたりもしたのですが、特に変化はなく、困っているところです。
通常のブラウザで表示した場合は、そのページではページネーション化されたコンテンツが表示されるようになっています。
Pythonで表示した場合は、初回は期待通りにブラウザで表示すると同様の結果が得られますが、続けて2回目を実行すると画像や文字列が文字化けしたページの結果を取得してしまいます。

原因がよく分からないので、心当たりのある方がいらっしゃいましたら、ご教示いただけますと幸いです。

よろしくお願いいたします。

Answer 1

ありがとうございました。
解決したかもしれないです。
どうも、長時間にわたってPCの電源を入れ続けていたため、メモリキャッシュがいっぱいになっていて、うまく取得できていなかったのかもしれません。
今のところは安定しているので、しばらくは様子見してみようと思います。
もし調子が良くなくなったら、また質問させていただきたいと思います。

Answer 2

postされている理由がちょっとよくわからないですが、ターゲットURLを渡してGETして、
パーサー利用するのがよくある方法だと思います。

url = 'https://www.google.com'
html = requests.get(url).text
soup = BeautifulSoup(html, "lxml")
something = soup.select('.something')

Comments

[Aneks]

ありがとうございます。
postにしているのは、getにしてみても結果が同じで、ブラウザ側ではpostしていたため、同様にpostさせてみようかと思って試したためです。
やはり書き方はそうなりますよね。
初回は、取れるのですが、2回連続に実行すると2回目からは取得できなくなるんですよね。
エラーが出ているわけでもなく、ステータスコードも200がかえってくるので、存在しないページというわけではなさそうなんですけどねー。