Beautiful Soupを使ってのスクレイピングですべてのテキストを改行したい

Question

次のurlを参考にして、Beautiful Soupを使ってのWebサイトスクレイピングをしています。
https://qiita.com/poorko/items/9140c75415d748633a10

日経新聞をスクレイピングしたところ、ほとんどの記事が１行になってしまいます。すべてのテキストを改行したいと思っています。

例えば、次の１記事のソースコードがあります。

<div class="k-card k-card--small k-card--reverse" data-rn-track="DGXMZO5980853001062020000000" data-rn-track-value="{&quot;order&quot;:2,&quot;title&quot;:&quot;米、黒人暴行死で州兵5000人　ワシントン夜間外出禁止&quot;,&quot;title2&quot;:&quot;&quot;,&quot;pattern_id&quot;:&quot;DGXMZO5980853001062020000000-202006010313338-top&quot;,&quot;kiji_id_raw&quot;:&quot;DGXMZO5980853001062020000000&quot;}" data-rn-track-category="h3" data-rn-inview-track="DGXMZO5980853001062020000000" data-rn-inview-track-value="{&quot;order&quot;:2,&quot;title&quot;:&quot;米、黒人暴行死で州兵5000人　ワシントン夜間外出禁止&quot;,&quot;title2&quot;:&quot;&quot;,&quot;pattern_id&quot;:&quot;DGXMZO5980853001062020000000-202006010313338-top&quot;,&quot;kiji_id_raw&quot;:&quot;DGXMZO5980853001062020000000&quot;}"><a class="k-card__block-link" href="/article/DGXMZO59808530R00C20A6000000" tabIndex="-1"><span class="k-v">米、黒人暴行死で州兵5000人　ワシントン夜間外出禁止</span></a><div class="k-card__content"><a class="k-card__image" href="/article/DGXMZO59808530R00C20A6000000"><div class="k-picture" style="padding-bottom: 62.5%;"><picture class="k-picture__content"><source srcset="https://article-image-ix.nikkei.com/https%3A%2F%2Fimgix-proxy.n8s.jp%2FDSXMZO5981239001062020000001-KB2-3.jpg?w=300&amp;h=187&amp;auto=format%2Ccompress&amp;ch=Width%2CDPR&amp;q=20&amp;fit=crop&amp;bg=FFFFFF&amp;ixlib=js-1.4.1&amp;s=b49e1a2231212d78afaf7093fd1f4c84" media="(min-width: 992px)" /><source srcset="https://article-image-ix.nikkei.com/https%3A%2F%2Fimgix-proxy.n8s.jp%2FDSXMZO5981239001062020000001-KB2-3.jpg?w=150&amp;h=93&amp;auto=format%2Ccompress&amp;ch=Width%2CDPR&amp;q=0&amp;fit=crop&amp;bg=FFFFFF&amp;ixlib=js-1.4.1&amp;s=9ec5a95d95b5bbd57b1e48f058dedbbb" media="(min-width: 752px)" /><source srcset="https://article-image-ix.nikkei.com/https%3A%2F%2Fimgix-proxy.n8s.jp%2FDSXMZO5981239001062020000001-KB2-3.jpg?w=250&amp;h=156&amp;auto=format%2Ccompress&amp;ch=Width%2CDPR&amp;q=20&amp;fit=crop&amp;bg=FFFFFF&amp;ixlib=js-1.4.1&amp;s=9ffc28ff8ee11af2958d4d3165ca13d2" media="(min-width: 0px)" /><img class="k-picture__img" src="https://article-image-ix.nikkei.com/https%3A%2F%2Fimgix-proxy.n8s.jp%2FDSXMZO5981239001062020000001-KB2-3.jpg?w=300&amp;h=187&amp;auto=format%2Ccompress&amp;ch=Width%2CDPR&amp;q=20&amp;fit=crop&amp;bg=FFFFFF&amp;ixlib=js-1.4.1&amp;s=b49e1a2231212d78afaf7093fd1f4c84" alt="ホワイトハウスの近くで続く抗議デモ(5月31日、米首都ワシントン)=AP" title="ホワイトハウスの近くで続く抗議デモ(5月31日、米首都ワシントン)=AP" /></picture><span class="k-picture__credit">AP</span></div></a><div class="k-card__text"><h2 class="k-card__title small"><a class="k-card__title-link" href="/article/DGXMZO59808530R00C20A6000000"><div><span class="k-card__title-piece">米、黒人暴行死で州兵5000人</span><span class="k-card__title-piece k-card__title-piece--block">ワシントン夜間外出禁止</span></div></a></h2><ul class="k-card__meta"><li class="k-card__tag"><a href="/theme?dw=17090322">トランプ政権</a><a href="/international/america/">北米</a></li><li class="k-card__icon"><i class="k-icon" style="background-image: url(https://r.nikkei.com/api/svg/v1/k-video.rev-307033.svg?stroke=%23979797&amp;fill=%23979797); width: 16px; height: 16px; min-width: 16px;"></i></li></ul></div></div><div class="k-card__excerpt k-card__excerpt--short"><p>【ワシントン=中村亮】白人警官の暴行による黒人死亡事件への抗議デモが全米に広がっていることを巡り、国防総省州兵総局は5月31日、15州と首都ワシントンのあるコロンビア特別区が同日午前時点で州兵（ナショナルガード）を動員したと明らかにした。合計で約5千人にのぼり、必要に応じて2千人が追加されると説明した。</p><p>ワシントンのバウザー市長は31日、市内全域に31日深夜から6月1日早朝まで外出禁止令を出した…</p></div></div></div></div>

これを次のように表示したいのです。

米、黒人暴行死で州兵5000人　ワシントン夜間外出禁止
米、黒人暴行死で州兵5000人　ワシントン夜間外出禁止
米、黒人暴行死で州兵5000人　ワシントン夜間外出禁止
ホワイトハウスの近くで続く抗議デモ(5月31日、米首都ワシントン)
ホワイトハウスの近くで続く抗議デモ(5月31日、米首都ワシントン)
米、黒人暴行死で州兵5000人
ワシントン夜間外出禁止
トランプ政権
【ワシントン=中村亮】白人警官の暴行による黒人死亡事件への抗議デモが全米に広がっていることを巡り、国防総省州兵総局は5月31日、15州と首都ワシントンのあるコロンビア特別区が同日午前時点で州兵（ナショナルガード）を動員したと明らかにした。合計で約5千人にのぼり、必要に応じて2千人が追加されると説明した。
ワシントンのバウザー市長は31日、市内全域に31日深夜から6月1日早朝まで外出禁止令を出した…

上記の記事を下記のように表示するには、どうしたらよろしいでしょうか。

環境は次のとおりです。

OS:ubuntu18.04
Python:3.7
Beautiful Soup:4.9.1

よろしくお願いします。

Answer 1

日経新聞をスクレイピングしたところ、ほとんどの記事が１行になってしまいます。すべてのテキストを改行したいと思っています。

どうやって取得したのでしょう？textですかね。
stringsで取得すると、テキストノードごとに別れたリストになります。

for text_node in soup.strings:
    print(text_node)

Comments

[good_morning]

ありがとうございました。