csvファイル保存時の改行について [ウェブスクレイピング]

前提・実現したいこと

ウェブスクレイピングで取得したデータをcsvファイルに改行して(複数行で)保存したいと考えております。
(一行だと読みにくいため、改善したいと考えております。)

コードの修正方法について相談させて頂けないでしょうか。

###現状について
①今回、実行したコード

import requests
import csv
from datetime import datetime
from bs4 import BeautifulSoup

r = requests.get("https://codezine.jp/article/tag/223")
soup = BeautifulSoup(r.text, "html.parser")

articles = [] #各記事の情報を格納するリスト

#CSSセレクターで<ul class = "catList"><li>
lis = soup.select("ul.catList > li")

for li in lis:
    #日付の文字列を取得
    day = li.find("div", class_="day").text.strip()
    #日付をdatetimeに変換
    published = datetime.strptime(day, "%Y/%m/%d")

    h2_tag = li.find("h2") # h2タグを取得
    title = h2_tag.text #タイトルを取得
    url = h2_tag.a["href"]

    tag_list = li.select("ul.tag > li") #タグのli要素を取得
    #タグのリストを生成
    tags = [tag.text.strip() for tag in tag_list]

    article = {
        "published":published,
        "title":title,
        "url":url,
        "tags":tags
    }
    articles.append(article)
print(articles[:10])

with open("codezine_list.csv", "w", newline="") as f:
    w = csv.writer(f,delimiter=",")
    w.writerow(articles[:10])

上記コード実行により保存されたcsvファイル

"{'published': datetime.datetime(2019, 6, 20, 0, 0), 'title': '人気のPythonで深層学習を始めたい！ 『現場で使える！Python深層学習入門』発売', 'url': '/article/detail/11560', 'tags': ['Python', '機械学習']}","{'published': datetime.datetime(2019, 5, 31, 0, 0), 'title': '業務で機械学習を使うためには、まず課題を洗い出す～『現場で使える！Python機械学習入門』より', 'url': '/article/detail/11532', 'tags': ['Python', '機械学習']}","{'published': datetime.datetime(2019, 5, 24, 0, 0), 'title': '機械学習をプロダクト開発で利用できるように 『現場で使える！Python機械学習入門』発売', 'url': '/article/detail/11522', 'tags': ['Python', '機械学習']}","{'published': datetime.datetime(2019, 2, 6, 0, 0), 'title': 'データ科学で求める物質の分子式を生成、マテリアルズ・インフォマティクスとは【PyData.tokyo】', 'url': '/article/detail/11341', 'tags': ['Python', 'データ処理']}","{'published': datetime.datetime(2019, 1, 30, 0, 0), 'title': '『Pythonで動かして学ぶ 自然言語処理入門』から自然言語処理の概要を紹介', 'url': '/article/detail/11335', 'tags': ['Python', '人工知能']}","{'published': datetime.datetime(2019, 1, 23, 0, 0), 'title': 'テキストマイニングや評判分析も 『Pythonで動かして学ぶ 自然言語処理入門』', 'url': '/article/detail/11293', 'tags': ['Python', '機械学習']}","{'published': datetime.datetime(2019, 1, 11, 0, 0), 'title': 'なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】', 'url': '/article/detail/11197', 'tags': ['Python', 'データ処理']}","{'published': datetime.datetime(2018, 12, 12, 0, 0), 'title': '定番のPython機械学習ライブラリ「scikit-learn」ではじめての学習モデル作成から改善まで', 'url': '/article/detail/11252', 'tags': ['Python', 'データ分析']}","{'published': datetime.datetime(2018, 11, 26, 0, 0), 'title': 'NumPyで使われる多次元配列のデータ構造「ndarray」とは？', 'url': '/article/detail/11211', 'tags': ['Python', 'データ処理']}","{'published': datetime.datetime(2018, 11, 19, 0, 0), 'title': 'Pythonの数値計算ライブラリ「NumPy」を解説 『現場で使える！NumPyデータ処理入門』発売', 'url': '/article/detail/11189', 'tags': ['Python']}"

→1行に保存されてしまって読みずらい

###所望の保存形式

以下のように改行した上で保存したいと考えております。

{'published': datetime.datetime(2019, 6, 20, 0, 0), 'title': '人気のPythonで深層学習を始めたい！ 『現場で使える！Python深層学習入門』発売', 'url': '/article/detail/11560', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2019, 5, 31, 0, 0), 'title': '業務で機械学習を使うためには、まず課題を洗い出す～『現場で使える！Python機械学習入門』より', 'url': '/article/detail/11532', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2019, 5, 24, 0, 0), 'title': '機械学習をプロダクト開発で利用できるように 『現場で使える！Python機械学習入門』発売', 'url': '/article/detail/11522', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2019, 2, 6, 0, 0), 'title': 'データ科学で求める物質の分子式を生成、マテリアルズ・インフォマティクスとは【PyData.tokyo】', 'url': '/article/detail/11341', 'tags': ['Python', 'データ処理']}
{'published': datetime.datetime(2019, 1, 30, 0, 0), 'title': '『Pythonで動かして学ぶ 自然言語処理入門』から自然言語処理の概要を紹介', 'url': '/article/detail/11335', 'tags': ['Python', '人工知能']}
{'published': datetime.datetime(2019, 1, 23, 0, 0), 'title': 'テキストマイニングや評判分析も 『Pythonで動かして学ぶ 自然言語処理入門』', 'url': '/article/detail/11293', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2019, 1, 11, 0, 0), 'title': 'なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】', 'url': '/article/detail/11197', 'tags': ['Python', 'データ処理']}
{'published': datetime.datetime(2018, 12, 12, 0, 0), 'title': '定番のPython機械学習ライブラリ「scikit-learn」ではじめての学習モデル作成から改善まで', 'url': '/article/detail/11252', 'tags': ['Python', 'データ分析']}
{'published': datetime.datetime(2018, 11, 26, 0, 0), 'title': 'NumPyで使われる多次元配列のデータ構造「ndarray」とは？', 'url': '/article/detail/11211', 'tags': ['Python', 'データ処理']}
{'published': datetime.datetime(2018, 11, 19, 0, 0), 'title': 'Pythonの数値計算ライブラリ「NumPy」を解説 『現場で使える！NumPyデータ処理入門』発売', 'url': '/article/detail/11189', 'tags': ['Python']}
{'published': datetime.datetime(2018, 10, 31, 0, 0), 'title': '「興味を持ってくれた人と気軽にコミュニケーションが取れる」――PyCon JP 2018発表者に訊くトークセッションにはないポスターセッションの魅力', 'url': '/article/detail/11135', 'tags': ['Python', 'イベントレポート']}
{'published': datetime.datetime(2018, 10, 29, 0, 0), 'title': 'なぜいま機械学習が注目されているのか――教師あり学習、教師なし学習、強化学習の基本を理解する', 'url': '/article/detail/11130', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2018, 10, 22, 0, 0), 'title': '人気のディープラーニング講座が書籍化！『Pythonで動かして学ぶ！あたらしい深層学習の教科書』', 'url': '/article/detail/11100', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2018, 9, 28, 0, 0), 'title': 'データ分析エンジニアの役割とは？ Pythonと機械学習はどう役立つ？', 'url': '/article/detail/11067', 'tags': ['Python', 'データ分析']}
{'published': datetime.datetime(2018, 9, 26, 0, 0), 'title': 'PyTorchで深層学習を始めたい人のための基礎を紹介 データ構造のTensorと自動微分の使い方について', 'url': '/article/detail/11052', 'tags': ['Python']}
{'published': datetime.datetime(2018, 9, 20, 0, 0), 'title': 'データ分析エンジニアの基礎をひととおり 『あたらしいPythonによるデータ分析の教科書』発売', 'url': '/article/detail/11059', 'tags': ['Python', 'データ分析', '機械学習']}
{'published': datetime.datetime(2018, 9, 19, 0, 0), 'title': 'OSSのPyTorchで深層学習モデルを作ってみたいなら 『現場で使える！PyTorch開発入門』発売', 'url': '/article/detail/11046', 'tags': ['Python']}
{'published': datetime.datetime(2018, 9, 6, 0, 0), 'title': 'Pythonでデータと向き合いながら価値を見出す「探索的データ解析」に挑戦しよう', 'url': '/article/detail/11043', 'tags': ['Python']}
{'published': datetime.datetime(2018, 9, 1, 0, 0), 'title': '「PyCon JP 2018 ひろがるPython」登壇者座談会 ～わたしのPythonのひろげかた～', 'url': '/article/detail/11031', 'tags': ['Python', 'イベントレポート']}
{'published': datetime.datetime(2018, 7, 5, 0, 0), 'title': 'クイズ王たちを凌駕する早押しクイズAIはこう作る～PyData.Tokyo Meetup #18イベントレポート', 'url': '/article/detail/10865', 'tags': ['Python', 'レポート']}

###試したこと

import requests
import csv
from datetime import datetime
from bs4 import BeautifulSoup

r = requests.get("https://codezine.jp/article/tag/223")
soup = BeautifulSoup(r.text, "html.parser")

articles = [] #各記事の情報を格納するリスト

#CSSセレクターで<ul class = "catList"><li>
lis = soup.select("ul.catList > li")

for li in lis:
    #日付の文字列を取得
    day = li.find("div", class_="day").text.strip()
    #日付をdatetimeに変換
    published = datetime.strptime(day, "%Y/%m/%d")

    h2_tag = li.find("h2") # h2タグを取得
    title = h2_tag.text #タイトルを取得
    url = h2_tag.a["href"]

    tag_list = li.select("ul.tag > li") #タグのli要素を取得
    #タグのリストを生成
    tags = [tag.text.strip() for tag in tag_list]

    article = {
        "published":published,
        "title":title,
        "url":url,
        "tags":tags
    }
    print(article)
    articles.append(article)

with open("codezine_list.csv", "w", newline="") as f:
    w = csv.writer(f,delimiter=",")
    w.writerows(articles[:10])

保存されたcsvファイル

published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags

→バリューが消えてしまいました

(なぜバリューが消えてしまったのか、また)
どのようにコードを修正すれば所望の形式で保存できるかご教示頂けないでしょうか。

宜しくお願い致します。

行動規範の内容に同意します

回答1件

ベストアンサー

そもそも謎なんですが「所望の保存形式」ってcsv(comma separated values)じゃなくてただのテキストじゃないんですか？

例えばこれをcsvだと解釈すると

{'published': datetime.datetime(2019, 6, 20, 0, 0), 'title': '人気のPythonで深層学習を始めたい！『現場で使える！Python深層学習入門』発売', 'url': '/article/detail/11560', 'tags': ['Python', '機械学習']}

最後の二つの項目は'tags': ['Python' '機械学習']}で区切られる気がしますが。

単純に１行文の要素を取り出したら最後に改行文字を付けて出力するだけじゃないんでしょうか？

投稿2019/06/28 13:17

gentaro

総合スコア8949

yoyoda

2019/06/28 13:36

ご指摘有難うございます。確かにカンマで区切ると、最後の2項目は都合が悪いのでテキストで保存すべきでした。ちなみにですが、テキストで保存・改行するとすればコードをどのように修正すればよろしいでしょうか。

gentaro

2019/06/28 13:42

聞く前にググりましょう。とりあえず適当に出てきたサイト https://programming-study.com/technology/python-file/

yoyoda

2019/06/28 14:39 編集

情報有難うございます。取り急ぎ、お礼申し上げます。もう少し考えてみます。

yoyoda

2019/06/28 22:58 編集

csvに関する記述を削除し、以下のコードを追記することにより、テキストで保存・改行出来ました。ご助言頂き有難うございました。 with open("codezine_list.txt", mode="ｗ") as f: ____ f.write("published:{},title:{},url:{},tags:{}\n".format(published,title, url, tags) ) (*___はスペースを意味する)

行動規範の内容に同意します