ネット上の情報をURLの一部をスクレイピングします。
python
1from bs4 import BeautifulSoup 2import requests 3import pandas as pd 4from pandas import Series,DataFrame 5import time 6import numpy as np 7 8month = ['01'] 9date = ['01'] 10for m in date: 11 for n in month: 12 time.sleep(1) 13 url='https://aaaa'+str(m)+'bbb'+str(n)#1 14 日付=['2019'+str(n)+str(m)] 15 name3.set_index('日付',inplace=True) 16#1以下、省略しますが上記のURLから下記のような情報をデータフレームとして取り出します。 17name={'名前':['高橋','斎藤','佐藤','河野','川島','勝浦']} 18name1=pd.DataFrame(name) 19name2=name1.transpose() 20name3=name2.rename(columns={0:'1',1:'2',2:'3',3:'4',4:'5',5:'6'}) 21 22# 1 2 3 4 5 6 23#20190101 高橋 斎藤 佐藤 河野 川島 勝浦
上記の結果から
month=['01','02']
date=['01','02']
を追加して下記のように各日付でのデータフレームをスクレイピングします。
python
1month = ['01','02'] 2date = ['01','02'] 3for m in date: 4 for n in month: 5 time.sleep(1) 6 url='https://aaaa'+str(m)+'bbb'+str(n)#20190101,20190102,20190201,20190202の結果をスクレイピングする。 7 日付=['2019'+str(n)+str(m)] 8 name3.set_index('日付',inplace=True) 9 10# 1 2 3 4 5 6 11#20190101 高橋 斎藤 佐藤 河野 川島 勝浦 #20190101のスクレイピング結果を追加 12#20190102 松本 杉本 大橋 笹本 石井 佐伯 #20190102のスクレイピング結果を追加 13#20190201 藤田 有田 上田 小林 宮崎 及川#20190201のスクレイピング結果を追加 14#20190202 河野 佐々木 菅野 高橋 木本 石野#20190202スクレイピング結果 15
上記のように、結果をスクレイピング結果を
1.indexに日付を指定する
2.スクレイピング結果をデータフレームに次々と追加する
方法をご教示いただけますでしょうか?
あなたの回答
tips
プレビュー