回答編集履歴

  私もターゲットサイトが変わるたびシコシコとその対応をしています。これからもそれは変わらないでしょう。

  でもその度に若干スキルはアップしている気がします（自己満足ですが）。

  BeautifulSoupを調べ適用し、seleniumを調べ適用し、その他いろいろ調べ適用し・・・その繰り返しです。

  質問者さんがこれを作った時の気持ちで、HTMLの内容・構造・階層を調べて着実に対応するしかないのではないでしょうか。

  できれば、サイトに「以後サイトの構造を変えることは禁止する」と言えれば一番いいですけどね。