Pythonを用いたスクレイピングのcsv形式での出力方法について。

Question

前提

Pythonを用いたスクレイピングの出力方法について。
下記のURL(https://100mon.jp/) から質問内容をスクレイピングするコードを作成しました。

実現したいこと

csv形式で出力すると添付写真のように、データが101行目から入力されます。
「自己紹介がしたい人に100の質問」は1-100行目に入力されますが、次の質問内容「片想いをしている人に100の質問」は101-の入力になります。これを1行目から入力する方法を知りたいです。

発生している問題・エラーメッセージ

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-10-20/9b85d368-c135-4ece-8c96-c43cedaf7663.png)

該当のソースコード

import requests
import re
from bs4 import BeautifulSoup

data=[]

page_count = 1
next_res = ""
soup=""

num=0
    
while num<4342:
        
        next_res=requests.get("https://100mon.jp/q/"+str(page_count)).text
        soup=BeautifulSoup(next_res,'html.parser')
        
        title = soup.find('h1',attrs={'class':'title'})
        
        all_questions=soup.find_all('ol')
        
        for some_questions in all_questions:
            for questions in some_questions:
                question = questions

                datum={}

                datum[title.text]=question.text
                data.append(datum)

        page_count+=1
        num +=1

import pandas as pd
df=pd.DataFrame(data)
df.to_csv('100の質問50.csv',index=False)

補足情報（FW/ツールのバージョンなど）

Jupiter lab, Pythonを使用してます。

Comments

[退会済みユーザー]

csvに出力する部分のコードも含めて、コードは省略せず全部記載してください。

[meg_]

> csv形式で出力すると添付写真のように
写真が表示されていませんよ。

[KNTN]

発生している問題・エラーメッセージのとこにのっています。こちらのURLから見られます。teratailで画像を添付するとこのような方法になるみたいです。
https://ddjkaamml8q8x.cloudfront.net/questions/2022-10-20/9b85d368-c135-4ece-8c96-c43cedaf7663.png

[meg_]

> teratailで画像を添付するとこのような方法になるみたいです。
そうではありません。添付の仕方が間違っています。
現状おそらく「コードの挿入」の中に「画像の挿入」をしてしまっています。投稿前にレビューで確認なさるようにお願いいたします。

Answer 1

多分下のようなことをやりたいのではないかと。
（サーバーへの負荷を抑えるため1ページごとにウェイトを入れる必要があります）

import requests
import re
from bs4 import BeautifulSoup
import time
page_count = 1
next_res = ""
soup=""
num=0

data = {}
while num < 100:
        next_res=requests.get("https://100mon.jp/q/"+str(page_count)).text
        soup=BeautifulSoup(next_res,'html.parser')
        title = soup.find('h1',attrs={'class':'title'})
        row = []
        all_questions=soup.find_all('ol')
        for some_questions in all_questions:
            for questions in some_questions:
                question = questions
                row.append(question.text)
        data[title.text] = row
        print(f"page:{page_count} completed!")
        time.sleep(1)
        page_count+=1
        num +=1

import pandas as pd
df=pd.DataFrame(data)

df.to_csv('100の質問50.csv', index=False)

Comments

[KNTN]

ありがとうございました。