質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.12%

csvファイル保存時の改行について [ウェブスクレイピング]

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 145

yoyoda

score 4

前提・実現したいこと

ウェブスクレイピングで取得したデータをcsvファイルに改行して(複数行で)保存したいと考えております。
(一行だと読みにくいため、改善したいと考えております。)

コードの修正方法について相談させて頂けないでしょうか。

現状について

①今回、実行したコード

import requests
import csv
from datetime import datetime
from bs4 import BeautifulSoup

r = requests.get("https://codezine.jp/article/tag/223")
soup = BeautifulSoup(r.text, "html.parser")

articles = [] #各記事の情報を格納するリスト

#CSSセレクターで<ul class = "catList"><li>
lis = soup.select("ul.catList > li")

for li in lis:
    #日付の文字列を取得
    day = li.find("div", class_="day").text.strip()
    #日付をdatetimeに変換
    published = datetime.strptime(day, "%Y/%m/%d")

    h2_tag = li.find("h2") # h2タグを取得
    title = h2_tag.text #タイトルを取得
    url = h2_tag.a["href"]

    tag_list = li.select("ul.tag > li") #タグのli要素を取得
    #タグのリストを生成
    tags = [tag.text.strip() for tag in tag_list]

    article = {
        "published":published,
        "title":title,
        "url":url,
        "tags":tags
    }
    articles.append(article)
print(articles[:10])

with open("codezine_list.csv", "w", newline="") as f:
    w = csv.writer(f,delimiter=",")
    w.writerow(articles[:10])

上記コード実行により保存されたcsvファイル

"{'published': datetime.datetime(2019, 6, 20, 0, 0), 'title': '人気のPythonで深層学習を始めたい! 『現場で使える!Python深層学習入門』発売', 'url': '/article/detail/11560', 'tags': ['Python', '機械学習']}","{'published': datetime.datetime(2019, 5, 31, 0, 0), 'title': '業務で機械学習を使うためには、まず課題を洗い出す~『現場で使える!Python機械学習入門』より', 'url': '/article/detail/11532', 'tags': ['Python', '機械学習']}","{'published': datetime.datetime(2019, 5, 24, 0, 0), 'title': '機械学習をプロダクト開発で利用できるように 『現場で使える!Python機械学習入門』発売', 'url': '/article/detail/11522', 'tags': ['Python', '機械学習']}","{'published': datetime.datetime(2019, 2, 6, 0, 0), 'title': 'データ科学で求める物質の分子式を生成、マテリアルズ・インフォマティクスとは【PyData.tokyo】', 'url': '/article/detail/11341', 'tags': ['Python', 'データ処理']}","{'published': datetime.datetime(2019, 1, 30, 0, 0), 'title': '『Pythonで動かして学ぶ 自然言語処理入門』から自然言語処理の概要を紹介', 'url': '/article/detail/11335', 'tags': ['Python', '人工知能']}","{'published': datetime.datetime(2019, 1, 23, 0, 0), 'title': 'テキストマイニングや評判分析も 『Pythonで動かして学ぶ 自然言語処理入門』', 'url': '/article/detail/11293', 'tags': ['Python', '機械学習']}","{'published': datetime.datetime(2019, 1, 11, 0, 0), 'title': 'なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】', 'url': '/article/detail/11197', 'tags': ['Python', 'データ処理']}","{'published': datetime.datetime(2018, 12, 12, 0, 0), 'title': '定番のPython機械学習ライブラリ「scikit-learn」ではじめての学習モデル作成から改善まで', 'url': '/article/detail/11252', 'tags': ['Python', 'データ分析']}","{'published': datetime.datetime(2018, 11, 26, 0, 0), 'title': 'NumPyで使われる多次元配列のデータ構造「ndarray」とは?', 'url': '/article/detail/11211', 'tags': ['Python', 'データ処理']}","{'published': datetime.datetime(2018, 11, 19, 0, 0), 'title': 'Pythonの数値計算ライブラリ「NumPy」を解説 『現場で使える!NumPyデータ処理入門』発売', 'url': '/article/detail/11189', 'tags': ['Python']}"


→1行に保存されてしまって読みずらい

所望の保存形式

以下のように改行した上で保存したいと考えております。

{'published': datetime.datetime(2019, 6, 20, 0, 0), 'title': '人気のPythonで深層学習を始めたい! 『現場で使える!Python深層学習入門』発売', 'url': '/article/detail/11560', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2019, 5, 31, 0, 0), 'title': '業務で機械学習を使うためには、まず課題を洗い出す~『現場で使える!Python機械学習入門』より', 'url': '/article/detail/11532', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2019, 5, 24, 0, 0), 'title': '機械学習をプロダクト開発で利用できるように 『現場で使える!Python機械学習入門』発売', 'url': '/article/detail/11522', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2019, 2, 6, 0, 0), 'title': 'データ科学で求める物質の分子式を生成、マテリアルズ・インフォマティクスとは【PyData.tokyo】', 'url': '/article/detail/11341', 'tags': ['Python', 'データ処理']}
{'published': datetime.datetime(2019, 1, 30, 0, 0), 'title': '『Pythonで動かして学ぶ 自然言語処理入門』から自然言語処理の概要を紹介', 'url': '/article/detail/11335', 'tags': ['Python', '人工知能']}
{'published': datetime.datetime(2019, 1, 23, 0, 0), 'title': 'テキストマイニングや評判分析も 『Pythonで動かして学ぶ 自然言語処理入門』', 'url': '/article/detail/11293', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2019, 1, 11, 0, 0), 'title': 'なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】', 'url': '/article/detail/11197', 'tags': ['Python', 'データ処理']}
{'published': datetime.datetime(2018, 12, 12, 0, 0), 'title': '定番のPython機械学習ライブラリ「scikit-learn」ではじめての学習モデル作成から改善まで', 'url': '/article/detail/11252', 'tags': ['Python', 'データ分析']}
{'published': datetime.datetime(2018, 11, 26, 0, 0), 'title': 'NumPyで使われる多次元配列のデータ構造「ndarray」とは?', 'url': '/article/detail/11211', 'tags': ['Python', 'データ処理']}
{'published': datetime.datetime(2018, 11, 19, 0, 0), 'title': 'Pythonの数値計算ライブラリ「NumPy」を解説 『現場で使える!NumPyデータ処理入門』発売', 'url': '/article/detail/11189', 'tags': ['Python']}
{'published': datetime.datetime(2018, 10, 31, 0, 0), 'title': '「興味を持ってくれた人と気軽にコミュニケーションが取れる」――PyCon JP 2018発表者に訊くトークセッションにはないポスターセッションの魅力', 'url': '/article/detail/11135', 'tags': ['Python', 'イベントレポート']}
{'published': datetime.datetime(2018, 10, 29, 0, 0), 'title': 'なぜいま機械学習が注目されているのか――教師あり学習、教師なし学習、強化学習の基本を理解する', 'url': '/article/detail/11130', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2018, 10, 22, 0, 0), 'title': '人気のディープラーニング講座が書籍化!『Pythonで動かして学ぶ!あたらしい深層学習の教科書』', 'url': '/article/detail/11100', 'tags': ['Python', '機械学習']}
{'published': datetime.datetime(2018, 9, 28, 0, 0), 'title': 'データ分析エンジニアの役割とは? Pythonと機械学習はどう役立つ?', 'url': '/article/detail/11067', 'tags': ['Python', 'データ分析']}
{'published': datetime.datetime(2018, 9, 26, 0, 0), 'title': 'PyTorchで深層学習を始めたい人のための基礎を紹介 データ構造のTensorと自動微分の使い方について', 'url': '/article/detail/11052', 'tags': ['Python']}
{'published': datetime.datetime(2018, 9, 20, 0, 0), 'title': 'データ分析エンジニアの基礎をひととおり 『あたらしいPythonによるデータ分析の教科書』発売', 'url': '/article/detail/11059', 'tags': ['Python', 'データ分析', '機械学習']}
{'published': datetime.datetime(2018, 9, 19, 0, 0), 'title': 'OSSのPyTorchで深層学習モデルを作ってみたいなら 『現場で使える!PyTorch開発入門』発売', 'url': '/article/detail/11046', 'tags': ['Python']}
{'published': datetime.datetime(2018, 9, 6, 0, 0), 'title': 'Pythonでデータと向き合いながら価値を見出す「探索的データ解析」に挑戦しよう', 'url': '/article/detail/11043', 'tags': ['Python']}
{'published': datetime.datetime(2018, 9, 1, 0, 0), 'title': '「PyCon JP 2018 ひろがるPython」登壇者座談会 ~わたしのPythonのひろげかた~', 'url': '/article/detail/11031', 'tags': ['Python', 'イベントレポート']}
{'published': datetime.datetime(2018, 7, 5, 0, 0), 'title': 'クイズ王たちを凌駕する早押しクイズAIはこう作る~PyData.Tokyo Meetup #18イベントレポート', 'url': '/article/detail/10865', 'tags': ['Python', 'レポート']}

試したこと

import requests
import csv
from datetime import datetime
from bs4 import BeautifulSoup

r = requests.get("https://codezine.jp/article/tag/223")
soup = BeautifulSoup(r.text, "html.parser")

articles = [] #各記事の情報を格納するリスト

#CSSセレクターで<ul class = "catList"><li>
lis = soup.select("ul.catList > li")

for li in lis:
    #日付の文字列を取得
    day = li.find("div", class_="day").text.strip()
    #日付をdatetimeに変換
    published = datetime.strptime(day, "%Y/%m/%d")

    h2_tag = li.find("h2") # h2タグを取得
    title = h2_tag.text #タイトルを取得
    url = h2_tag.a["href"]

    tag_list = li.select("ul.tag > li") #タグのli要素を取得
    #タグのリストを生成
    tags = [tag.text.strip() for tag in tag_list]

    article = {
        "published":published,
        "title":title,
        "url":url,
        "tags":tags
    }
    print(article)
    articles.append(article)

with open("codezine_list.csv", "w", newline="") as f:
    w = csv.writer(f,delimiter=",")
    w.writerows(articles[:10])

保存されたcsvファイル

published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags
published,title,url,tags


→バリューが消えてしまいました

(なぜバリューが消えてしまったのか、また)
どのようにコードを修正すれば所望の形式で保存できるかご教示頂けないでしょうか。

宜しくお願い致します。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

そもそも謎なんですが「所望の保存形式」ってcsv(comma separated values)じゃなくてただのテキストじゃないんですか?

例えばこれをcsvだと解釈すると

{'published': datetime.datetime(2019, 6, 20, 0, 0), 'title': '人気のPythonで深層学習を始めたい! 『現場で使える!Python深層学習入門』発売', 'url': '/article/detail/11560', 'tags': ['Python', '機械学習']}

最後の二つの項目は'tags': ['Python' '機械学習']}で区切られる気がしますが。

単純に1行文の要素を取り出したらそ

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/06/28 22:36

    ご指摘有難うございます。確かにカンマで区切ると、最後の2項目は都合が悪いのでテキストで保存すべきでした。ちなみにですが、テキストで保存・改行するとすればコードをどのように修正すればよろしいでしょうか。

    キャンセル

  • 2019/06/28 22:42

    聞く前にググりましょう。
    とりあえず適当に出てきたサイト
    https://programming-study.com/technology/python-file/

    キャンセル

  • 2019/06/28 22:57 編集

    情報有難うございます。取り急ぎ、お礼申し上げます。もう少し考えてみます。

    キャンセル

  • 2019/06/29 07:46 編集

    csvに関する記述を削除し、以下のコードを追記することにより、テキストで保存・改行出来ました。ご助言頂き有難うございました。

    with open("codezine_list.txt", mode="w") as f:
    ____ f.write("published:{},title:{},url:{},tags:{}\n".format(published,title, url, tags) )

    (*___はスペースを意味する)

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.12%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる