BeautifulSoupでスクレイピングした結果から改行、スペースを消したい

Question

前提・実現したいこと

Yahoo道路交通情報からBeautifulSoupでスクレイピングした結果から改行、スペースを消したい

該当のソースコード

import urllib.request as req
from bs4 import BeautifulSoup as bs

def roadscrape():
    url = "https://roadway.yahoo.co.jp/list"
    html = req.urlopen(url)
    soup = bs(html, "lxml")
    for table in soup.select('#adt_lst'):
        for tr in table.find_all("tr"):
            r_road = [td.get_text(strip=True) for td in tr.find_all("td")]
            if r_road:
                yield r_road

def main():
    for i, r_road in enumerate(roadscrape()):
        print(",".join(r_road))

main()

###実行結果(該当のソースコード)

試したこと

get_textに(strip=True)を追加した
しかし出力すると改行やスペースが含まれている

補足情報（FW/ツールのバージョンなど）

Pythonのバージョンは[3.6.9]です。

###参考
PythonによるスクレイピングでLifehack　運行情報を取得して通知する
こちらのページのコメント部分にあるコードを利用しました。

###別のアプローチ
「上り」が表示されていた場合に下りが表示されていないことや、
「事故等 他の規制」の間に改行があって下にずれている場合がある部分を整備したもの

import pandas as pd
import sys
df = pd.read_html("https://roadway.yahoo.co.jp/list", index_col=0)[0]
df.to_csv(sys.stdout, header=False)

Answer 1

すべての空白を除去するわけじゃないです。
リファレンスには、

各文字列パーツの最初と最後の空白を除去することもできます。:

と書いてあります。

replaceで削除しましょう。

Comments

[sugaga]

BeautifulSoupのリファレンスを見てなかったので勉強になりました、ありがとうございます！

[otn]

使う前に必ずリファレンスを見ましょうとは言いませんが、動作が期待通りでないときに、まず見るのがリファレンスです。

[sugaga]

Qiitaや参考書などで済ませようとしていたので教訓になりました。
今後気をつけます、ご忠告ありがとうございます！

Answer 2

ちょっと気になったので表示結果が
下りに「道路名」なくて左にずれてるいるのと
事故等 他の規制の間に改行があって下にずれているのですが大丈夫なのでしょうか？

参考までに
Pandasでtableを取得すると道路名等の結合部分が補完されますのできれいに取得できます

import pandas as pd
import sys
df = pd.read_html("https://roadway.yahoo.co.jp/list", index_col=0)[0]
df.to_csv(sys.stdout, header=False)

東名高速,上り,事故等 他の規制
東名高速,下り,事故等 他の規制
中央道,上り,他の規制
中央道,下り,他の規制
2号目黒線,下り,他の規制
3号渋谷線,上り,他の規制
4号新宿線,上り,他の規制
5号池袋線,上り,他の規制
7号小松川線,下り,他の規制
9号深川線,下り,他の規制
中央環状線,内回,事故等 他の規制
中央環状線,外回,事故等 他の規制
湾岸線,東行,他の規制
湾岸線,西行,他の規制

Comments

[sugaga]

解決済みのものにわざわざありがとうございます！

下りに道路名がないものは上りの下に出てるからいいか、と半ば妥協していましたがおかげで見やすくなりました。
「事故等 他の規制」のところも同様にしょうがないと思っていたので綺麗になって助かりました。

ほんとうにありがとうございます！

Answer 3

def main():
    for i, r_road in enumerate(roadscrape()):
      
        r_str = ",".join(r_road)
        r_str_new = r_str.replace(' ','')
        string_new = r_str_new.replace('\n','')
        print(r_str_new)

[他]参照

Comments

[sugaga]

コードを載せいていただきありがとうございます。
考えていた表示ができて助かりました！