Http キャッシュについて

Question

数時間に一度更新されるサイトのスクレイピングを行っているのですが、サイトにキャッシュが有効になっておらず困っております。
クライアントからキャッシュを要求できるヘッダーなどはありますか？
指定した期日までアクセスしないタイプのキャッシュではなく、Etagを使ったキャッシュを使用したいです、よろしくお願いいたします。

Comments

[ockeghem]

なぜキャッシュが有効にならないと困るのでしょうか。スクレイピングする立場からは、キャシュが無効の方が常に最新のデータがとれるように思えますが。サーバーに負荷をかけたくないのでしょうか。であれば、アクセスする頻度を少なくすればよいのではないでしょうか。
サーバー側でそもそもキャッシュ機能を使ってない場合も多く、その場合はキャッシュを要求しようがありません。

[退会済みユーザー]

負荷をかけたくないと考えつつも頻度は落としたくないので、キャッシュを有効にしたいです。
Webエンジニアではないので有益な情報か判断つかないのですが、サーバーはApacheを使用しているようです。

[退会済みユーザー]

$$$$$$

Answer 1

キャッシュというのは、言い換えれば「過去のデータ」を保持しているわけで、キャッシュを参照したいけど最新のデータも欲しいというのは両立しません。それが適切に制御できるのはサイト側だけであるわけですが、サイト側で可能ならば既にそうしているはずで、アクセス側でどうこうできることはありません。

Comments

[退会済みユーザー]

クライアントがEtagを受け取ったとり、次にアクセスする場合Etagを送信します、サーバ側はEtagが最新のものであれば304(Not Modified)、最新でないならば要素を送ってきます。
https://techblog.lclco.com/entry/2019/02/28/170051

「キャッシュを参照したいけれど最新のデータも欲しいというのは両立しません」なぜ両立しないのでしょうか？サーバーから304が返ってきた時点で、サーバーが自称する最新のデータが手に入るわけで問題ないと思います。

[退会済みユーザー]

手に入ると表現するのは適切ではなかったです、最新のデータが手に入っているでした。

[ockeghem]

はい。サーバーが仮に304を返すのであれば、『それが適切に制御できるのはサイト側だけ』のサイト側が適切な処理をしていることになります。しかし、それは現状していない（304が返らない）のですよね。であれば、手元のキャッシュ（=過去のデータ）が最新かどうか分からないということで、クライアント側でできることは通常ありません。
それに、参照されている記事はキャッシュサーバー(CDN)を導入している場合の話で、キャッシュサーバーが導入されていない場合は直接関係ありません。キャッシュサーバーを導入せずに、単にアプリケーション側で304応答を返すように改修することは可能ですが、それはサイト側に「依頼」しないと多分やってもらえないでしょう

[退会済みユーザー]

詳しく説明ありがとうございます。
CDNを導入しているサイトでないと動作しないのですね、勉強になりました。
アクセス頻度を落として負荷を下げることにしました。

[ockeghem]

望み薄ではありますが、If-Modified-Since ヘッダは一応試してみたらどうかと思います。

[退会済みユーザー]

If-Modified-Since: Sun, 26 Apr 2020 13:18:00 GMT　で試してみましたが200応答でした。
残念ですが諦めます。

[退会済みユーザー]

GMTでは「Sun, 26 Apr 2020 13:18:00 GMT」が未来にあたるので動作しない可能性もあると思い「Sun, 26 Apr 2020 04:24:00 GMT」にしましたが、動作しませんでした。
皆様回答ありがとうございました。

Answer 2

指定した期日までアクセスしないタイプのキャッシュではなく、Etagを使ったキャッシュを使用したいです

サーバ側がサポートしていない限り、こちらからはどうしようもありません。