python3を使ってスクレイピングしたhtmlの最終行を消去したい。

Question

前提・実現したいこと

python３を使い、スクレイピングしたデータを、ローカルにhtmlで保存しています。
コードは以下です。

スクレイピングしたページは、ローカルにhtmlで保存しています。
できれば、保存する前にHTMLの最終行を消去して保存したいです。

もしくは、一度、保存したhtmlファイルを再度openして
そこで最終行を削除してから、新たに、上書き保存でも良いかなと思っています。

しかし、どう書けばいいのか分からず・・・止まってしまいました。

お詳しい方、どうぞご教示いただけますと助かります。
何卒よろしくお願いいたします。

該当のソースコード

import urllib.request

url = 'https://www.hoge.com/'
res = urllib.request.urlopen(url)
html = res.read().decode('utf-8')

filename = './hogehoge.html'
f = open(filename, 'w', encoding='utf-8')
f.write(html)
f.close()

補足情報

python3です

Answer 1

html形式で記述されていると言えどただの文字列なので、一般の文字列処理で対処できます。

末尾の余分な空行を削除したいなら

html = html.rstrip()

本当の意味で末尾の一行を削除したいなら

html = html.rsplit('\n', 1)[0]

あるいは

html = '\n'.join(html.splitlines()[:-1])

---

このように物理レベルでいじくるのはとても簡単なのですが、
論理レベルでいじるのは解析が必要でしんどいので何かしらのパッケージに頼りましょう。

Comments

[gksh7]

ありがとうございます。
無事に最終行を消去することができました！
助かりました。

今回は物理レベルだったので良かったのですが、
論理レベルの場合は、パッケージを利用するんですね。

勉強になりました。本当にありがとうございました。

[gksh7]

あらためて、勉強し直して、
rsplit とか join とか、こうゆう使い方ができるんだと感動しました！

[LouiS0616]

str型のメソッドの一覧です。適度にググりつつ、いろいろと試してみると良いでしょう。
https://docs.python.org/ja/3/library/stdtypes.html#string-methods

[gksh7]

たくさんあるんですね。
ありがとうございます。

Answer 2

htmlは見た目は改行されてても、データとして処理される時は改行は無視されるような気がしてます。
なのでhtml形式で最終行を消すという操作は難しいと思われます。
一旦hogehoge.txtのテキスト形式で保存しちゃって、その最終行を削除した後にhtml形式で保存するアプローチはいかがでしょうか？

Comments

[gksh7]

ありがとうございます。
htmlで考えようとせず、テキストレベルでという考え方は大変参考になりました。
感謝申し上げます。