Spreadsheetを使ってスクレイピングができません。

Question

こちらのサイトhttps://blog.members.co.jp/article/37782を参考にスクレイピングを行っているのですが、URL(各記事)によってタイトルを呼び出すことのできるものと、できずに**URL コンテンツのリソースが上限サイズを超えました。**とエラーの出てしまうのものがあります。
これは何故でしょうか？

URLコンテンツのリソースに関する記事はGoogleで調べても適切なものが出てこずに未解決のままです。
分かる方、アドバイスお願いいたします。

Answer 1

文字通り、指定のURLのデータ量が規定値を超えているため扱えないということだと思いますが。

Comments

[Anri_Hani]

このURLではこの手法のスクレイピングはできないという認識で間違い無いでしょうか？

[Takumiboo]

まぁ、出来ていないんだから出来ないんでしょうね。
もちろん今後そのページの容量が軽くなるとかすれば別ですし、情報量を絞れるようなURLパラメータがあればそういった指定をするとか、そういう工夫はあるかもですね。
(例:なにかの検索結果ページで、1ページあたりの表示件数を減らす、など)

Answer 2

Takumibooさんもご回答されていらっしゃいますが
ページ内のデータ量が多い為、ページリクエストに失敗している様です。
試しにデータの取得に失敗しているURLを確認してみれば
取得に成功しているページに比べてデータ量があきらかに多い事がわかるかと思います。

あくまで妥協策になってしまいやり方がガラッと変わりますが替案としては
以下画像の様に、他のページから一覧を参照していき
A列で用意したナンバリングを使用してxpathを指定する～等で取得は可能かと思います。