matplotlibを使って折れ線グラフを作成。

Question

matplotlibを使って折れ線グラフを完成させる

日本の人口を年代別に折れ線グラフで表現したいと考えています。
西暦と人口についての情報はスクレイピング済で、グラフにする際にX,Y軸の目盛りにデータの内容が適用されないことや折れ線グラフ上に折れ線がなく白紙状態です。

〜〜〜〜〜やろうとしていること〜〜〜〜〜
0. X軸に西暦を含む情報　（関数yearより）
0. Y軸に人口の数（下記のデータの出力からわかります。８〜９桁の数字です）（関数nomal_dealより）

この二軸からなる折れ線グラフの作成をしようとしています。

import requests
import re
import matplotlib.pyplot as plt
import numpy as np
from bs4 import BeautifulSoup
url  = 'https://ja.wikipedia.org/wiki/%E6%97%A5%E6%9C%AC%E3%81%AE%E4%BA%BA%E5%8F%A3%E7%B5%B1%E8%A8%88'

r = requests.get(url)
html_soup = BeautifulSoup(r.text,'html.parser')

base_locate = html_soup.find('table',class_='wikitable')

def year():
    body = base_locate.find_next('tbody')
    for year in body.find_all('th'):
        text = year.get_text(strip=True)
        make_list = []
        jp = re.sub('[年総人口前年比増減率]','',text)
        make_list.append(jp)
        print(make_list)
    return make_list

def nomal_deal():
    for num in base_locate.find_all('tr'):
        for deal in num.find_all('td'):
            text = deal.get_text(strip=True)
            sea = re.sub('[^0-9]','',text)
            bre = re.sub(',','',sea)
            core = re.findall('^[0-9]{8,}',bre)
            core_int = [int(s) for s in core]
            print(core_int)
    return core_int

year()
nomal_deal()

year = year()
nomal = nomal_deal()


left = np.array(year)
height = np.array(nomal)

fig,ax = plt.subplots()
plt.plot(left,height)

ax.set(xlabel = 'year',ylabel ='deal',
       title='number of birth')
ax.grid()

fig.savefig("number_of_birth.png")
plt.show()
            
            

試したこと

調べた結果、リストやタプルなどを引数にとって出力するが可能？？となっていました。
re.findallはパターンに重複しない形でリストの形式で返すため最初はうまくいくと考えたのですが、
折れ線グラフ上やX,Y軸の目盛りに西暦や人口数などのデータが反映されません。

自分なりに考えたこととしては、リストが現時点でバラバラの状態のために上手く反映されない？
（つまり、一つのリストにデータの一覧が格納されているのではなく、一つ一つ取得データをリストとしていることが問題？）
と考え。。。一つのリストにデータを全て格納しまとめれば良いのではないかと考えました。そしてappendを使ってリストを格納しようとしたのですが、そのためには新規のリストを作成する必要がありこれでは手の打ちようがないと。。勝手に思ってます。

上記の__リストが今回表を作成する際のネックになっている__という考察は自分の推察であり、これが今回の問題の根底にあるものだとは言い切れません。。

*以下は折れ線グラフの引数にとっているデータの内容です。二回出力された状態でそれぞれデータの内容は変わりません。

['']
['']
['']
['1910(明治43)']
['1915(大正4)']
['1920(大正9)']
['1925(大正14)']
['1930(昭和5)']
['1935(昭和10)']
['1940(昭和15)']
['1945(昭和20)']
['1950(昭和25)']
['1955(昭和30)']
['1960(昭和35)']
['1965(昭和40)']
['1970(昭和45)']
['1975(昭和50)']
['1980(昭和55)']
['1985(昭和60)']
['1990(平成2)']
['1995(平成7)']
['2000(平成12)']
['2005(平成17)']
['2010(平成22)']
['2015(平成27)']
['2016']
['2017']
['2018']
[50984840]
[]
[54935755]
[]
[55963053]
[]
[59736822]
[]
[64450005]
[]
[69254148]
[]
[73075071]
[]
[71998104]
[]
[83199637]
[]
[89275529]
[]
[93418501]
[]
[98274961]
[]
[103720060]
[]
[111939643]
[]
[117060396]
[]
[121048923]
[]
[123611167]
[]
[125570246]
[]
[126925843]
[]
[127767994]
[]
[128057352]
[]
[127094745]
[]
[126932772]
[]
[126706210]
[]
[126443180]
[]
['']
['']
['']
['1910(明治43)']
['1915(大正4)']
['1920(大正9)']
['1925(大正14)']
['1930(昭和5)']
['1935(昭和10)']
['1940(昭和15)']
['1945(昭和20)']
['1950(昭和25)']
['1955(昭和30)']
['1960(昭和35)']
['1965(昭和40)']
['1970(昭和45)']
['1975(昭和50)']
['1980(昭和55)']
['1985(昭和60)']
['1990(平成2)']
['1995(平成7)']
['2000(平成12)']
['2005(平成17)']
['2010(平成22)']
['2015(平成27)']
['2016']
['2017']
['2018']
[50984840]
[]
[54935755]
[]
[55963053]
[]
[59736822]
[]
[64450005]
[]
[69254148]
[]
[73075071]
[]
[71998104]
[]
[83199637]
[]
[89275529]
[]
[93418501]
[]
[98274961]
[]
[103720060]
[]
[111939643]
[]
[117060396]
[]
[121048923]
[]
[123611167]
[]
[125570246]
[]
[126925843]
[]
[127767994]
[]
[128057352]
[]
[127094745]
[]
[126932772]
[]
[126706210]
[]
[126443180]
[]

Answer 1

pandasを習得すればもっと簡単に実現できるので、機会があったら調べてみてください。

import matplotlib.pyplot as plt
import pandas as pd

url  = 'https://ja.wikipedia.org/wiki/%E6%97%A5%E6%9C%AC%E3%81%AE%E4%BA%BA%E5%8F%A3%E7%B5%B1%E8%A8%88'
df=pd.read_html(url)[2].set_index('年')
fig,ax = plt.subplots()
df["総人口"].plot(ax=ax)

これだけで折れ線グラフ作成まで出来ます。

Comments

[jury_new]

x98000さん、ありがとうございます！
やはり、pandasなどを使うことが一般的でmatplotlibは折れ線グラフなどを作成することはナンセンスでしょうか？自分は最近データをビジュアル化するためのライブラリを勉強し始めたのですが、matplotlibは複雑で使いにくいのでpandasやseabornなどを使った方がいい。みたいなサイトをよく見かけます。

参考までにデータをビジュアル化するライブラリの中でのmatplotlibを積極的に使うべきかどうかについて
もしよろしければ、ご教示いただけないでしょうか？

長文かつ何度もしつこく申し訳ありません。

[x98000]

いえ、この例もmatplotlib使ってますよ。データ収集とシリーズ化はpandasの機能ですが、df.plotは内部ではmatplotlibを呼んでいるので、gridやlegendなど細かい設定はmatplotlibの知識が必要です。seabornもmatplotlibが基盤になっているので同様です。
過去の資産も多くあるので、当面はmatplotlibを積極的に使っていって問題ないと思います。

[jury_new]

ありがとうございます！あ、、使ってましたね笑すみません確認不足で、、、
そうなんですね、pandas勉強しようと思います。
pandasの例についてなんですが、エラーが出てしまいました。
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1108)>
これは、自分のpythonのバージョンに依存する？？ものだと調べたらわかりました。
解決策について自分でなんとかしようと思っています！ただ、x９８０００さんはエラーは出なかったでしょうか？もしよろしければ参考までに教えていただけないでしょうか？無視していただいても全然問題ありません。
この度はpandasのアドバイスありがとうございました。

[x98000]

そうですね。こちらでは(python:3.7.2, pandas:1.0.3, urllib3:1.25.8)エラー無く動作確認出来ています。

Answer 2

基本的なところで幾つか問題がありそうです。まず、

visu = print(jp)

は意味がないです。print()は標準出力(画面)に表示するだけで戻り値がありませんのでvisuは常にNoneです。よって、関数year()もnomal_deal()も何も結果を返していません。
また、結果はリストなどの集合で返す必要がありますので、関数の中でリストを組み立ててreturnで返す必要があります。

もう少し見直してコードを再提示してはどうでしょうか。

Comments

[jury_new]

x98000さん、ご回答ありがとうございます！
そうだったんですね、、、、、
見直してみます。