Python スクレイピング 株価取得 Beatiful Soup

Question

https://non-dimension.com/kabuka-scraping/
上記サイトの株価を取得するコードを作成したいのですが、
私の方法ではエラーが出てきてしまいます。もしよろしければ、
どの点が間違えているのか教えていただきたいです。

プログラミングについてはprogateで少し勉強した程度なので、全く分からないです。
申し訳ございません。
以下のコードを動かし、株価の取得の自動化を行いたいのですが、うまくいきません。
google colaboratoryを使用しています。
こちらはどの点が間違えておりますでしょうか。
何も分からず恐縮ですが、ご回答いただけたら幸いです。

from google.colab import drive
drive.mount('/content/drive')

Mounted at /content/drive

import csv

csvfile = open('/content/drive/My Drive/google cora/code_list.csv')

reader = csv.DictReader(csvfile)
for row in reader:
  print(row)

from bs4 import BeautifulSoup
import pandas as pd
import requests
from datetime import datetime

def get_dfs(stock_number):
    dfs = []
    year = [2018,2019] #2017〜2019年までの株価データを取得
    for y in year:
        try:
            print(y)
            url = 'https://kabuoji3.com/stock/{}/{}/'.format(stock_number,y)
            soup = BeautifulSoup(requests.get(url).content,'html.parser')
            tag_tr = soup.find_all('tr')
            head = [h.text for h in tag_tr[0].find_all('th')]
            data = []
            for i in range(1,len(tag_tr)):
                data.append([d.text for d in tag_tr[i].find_all('td')])
            df = pd.DataFrame(data, columns = head)

            col = ['始値','高値','安値','終値','出来高','終値調整']
            for c in col:
                df[c] = df[c].astype(float)
            df['日付'] = [datetime.strptime(i,'%Y-%m-%d') for i in df['日付']]
            dfs.append(df)
        except IndexError:
            print('No data')
    return dfs

def concatenate(dfs):
    data = pd.concat(dfs,axis=0)
    data = data.reset_index(drop=True)
    col = ['始値','高値','安値','終値','出来高','終値調整']
    for c in col:
        data[c] = data[c].astype(float)
    return data

#作成したコードリストを読み込む
code_list = pd.read_csv('code_list.csv')

#複数のデータフレームをcsvで保存
for i in range(len(code_list)):
    k = code_list.loc[i,'code']
    v = code_list.loc[i,'name']
    print(k,v)
    dfs = get_dfs(k)
    data = concatenate(dfs) 
    data.to_csv('{}-{}.csv'.format(k,v))

以下がエラーとして出てきました。

---------------------------------------------------------------------------
---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
<ipython-input-46-64a85a5b6de8> in <module>()
     37 
     38 #作成したコードリストを読み込む
---> 39 codelist = pd.read_csv('codelist.csv')
     40 
     41 #複数のデータフレームをcsvで保存

4 frames
/usr/local/lib/python3.6/dist-packages/pandas/io/parsers.py in __init__(self, src, **kwds)
   1889         kwds["usecols"] = self.usecols
   1890 
-> 1891         self._reader = parsers.TextReader(src, **kwds)
   1892         self.unnamed_cols = self._reader.unnamed_cols
   1893 

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.__cinit__()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._setup_parser_source()

FileNotFoundError: [Errno 2] File codelist.csv does not exist: 'codelist.csv'

以下がエラーです。
エラーが出た際、
上のfor i in range(len(code_list)):のコードの部分に赤線が引かれていました。

NameError                                 Traceback (most recent call last)
<ipython-input-55-b9a24c2bba32> in <module>()
     40 
     41 #複数のデータフレームをcsvで保存
---> 42 for i in range(len(code_list)):
     43     k = code_list.loc[i,'code']
     44     v = code_list.loc[i,'name']

NameError: name 'code_list' is not defined

以下がエラーです。次は上のこちらの部分に赤線がひいて
ありました。→data = pd.concat(dfs,axis=0)


2424 ブラス
2019
No data
2020
No data
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-67-3b125c0fc7ed> in <module>()
     45     print(k,v)
     46     dfs = get_dfs(k)
---> 47     data = concatenate(dfs)
     48     data.to_csv('{}-{}.csv'.format(k,v))

2 frames
/usr/local/lib/python3.6/dist-packages/pandas/core/reshape/concat.py in __init__(self, objs, axis, join, keys, levels, names, ignore_index, verify_integrity, copy, sort)
    327 
    328         if len(objs) == 0:
--> 329             raise ValueError("No objects to concatenate")
    330 
    331         if keys is None:

ValueError: No objects to concatenate

以下が2framesを開いたエラー表記です。

2424 ブラス
2018
No data
2019
No data
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-68-b8a81eea83a2> in <module>()
     45     print(k,v)
     46     dfs = get_dfs(k)
---> 47     data = concatenate(dfs)
     48     data.to_csv('{}-{}.csv'.format(k,v))

2 frames
<ipython-input-68-b8a81eea83a2> in concatenate(dfs)
     29 
     30 def concatenate(dfs):
---> 31     data = pd.concat(dfs,axis=0)
     32     data = data.reset_index(drop=True)
     33     col = ['始値','高値','安値','終値','出来高','終値調整']

/usr/local/lib/python3.6/dist-packages/pandas/core/reshape/concat.py in concat(objs, axis, join, ignore_index, keys, levels, names, verify_integrity, sort, copy)
    279         verify_integrity=verify_integrity,
    280         copy=copy,
--> 281         sort=sort,
    282     )
    283 

/usr/local/lib/python3.6/dist-packages/pandas/core/reshape/concat.py in __init__(self, objs, axis, join, keys, levels, names, ignore_index, verify_integrity, copy, sort)
    327 
    328         if len(objs) == 0:
--> 329             raise ValueError("No objects to concatenate")
    330 
    331         if keys is None:

ValueError: No objects to concatenate

Comments

[Murasaki_PurPle]

マークダウンがありますので、コードを載せる際は使ってください。
（見辛いです）

[dfmasap]

申し訳ございません。修正致しました。

[meg_]

code_list.csvの文字コードは何ですか？

[dfmasap]

utf-8で保存しました。

[meg_]

> utf-8で保存しました。
であれば「UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 16: invalid start byte」のエラーは出ないはずですが不思議ですね。

[dfmasap]

ご返信ありがとうございます。すみません、どこかで間違えていたようです。
再度確認したところ、csvの連結？はうまくいきました。
しかし最後の部分がまだエラーが出てしまっています。

[meg_]

最新のコードとエラーが分かるように質問に追記してください。
1つのマークダウンの中に追記して書かれると非常に見にくい為、問題ごとに分けて書いてください。

[dfmasap]

承知いたしました。ありがとうございます。

Answer 1

FileNotFoundError: [Errno 2] File codelist.csv does not exist: 'codelist.csv'　指定されたパスには該当するファイルが存在しない、というエラーが出ています。正しいパスを指定すれば良いです。

#作成したコードリストを読み込む
codelist = pd.read_csv('codelist.csv')

ではなく、おそらく

codelist = pd.read_csv('/content/drive/My Drive/google cora/codelist.csv')

だと思います。

※ところで以前の質問内容は消されてしまったようですね。消されてしまうと回答者の回答との整合性が取れなくなってしまうので良くないです。後から質問や回答を参照する人のためにも消すのではなく、追記する形にしましょう。

Comments

[dfmasap]

ご教示いただきありがとうございます。修正致します。
何度も大変申し訳ございません。別のエラーが出てきてしまいました。
追記致します。

[meg_]

「NameError: name 'code_list' is not defined」のエラーですが、直前のコード「code_list = pd.read_csv('code_list.csv')」で「code_list」を作成しているので出るはずのないエラーです。

notebookを頭から再度実行しても同じエラーが出るか確かめてください。

[dfmasap]

お忙しい中初心者に付き合っていただきありがとうございます。
エラーが解決できました！
しかし次にvalue errorが出てきてしまいました。これはサイトから値を取得できていないということでしょうか。何度も申し訳ございません。

[meg_]

エラーは 関数 concatenate(dfs) の中のどこで出てますか？ 2 framesの中に隠れてるかと思います。（おそらく”data = pd.concat(dfs,axis=0)”だと思いますが合ってますか？）

[dfmasap]

すみません、2framesを開いたデータを添付しました。
そちらが間違っておりますでしょうか。申し訳ございません。

[meg_]

dfsが空のリストになっているのがエラーの原因でしょう。
確認ですが、print('No data')のコードは実行されていないんですよね？

[dfmasap]

すみません、実行していました、、
どこまでのコードを削除した方がよろしいでしょうか。また以下のコードを追加した方がよろしいでしょうか
code_list = pd.read_csv('code_list.csv')
code_list.head(10)

[meg_]

例外処理を入れているとエラー発生元が分からなくなるので、一旦try、catchを止めて不具合の原因を探ってください。

[dfmasap]

承知いたしました。ありがとうございます。

Answer 2

CSVを正常に読み込ませられていますか？
https://note.com/092i034i/n/n76f2c2de1974

追記

「pandasでCSVを開こうとした際、UTF-8によるUnicodeエラーが生じた」と
明確に原因がわかっている場合には、まずは聞くのではなくご自身で検索するなどしましょう。
原因がわかっているのですから
「pandas　csv　utf-8　unicode　error」
などといったワードで検索すれば同様の症状が生じている人の記事や解決法が出てくるはずです。

pandasではデフォルトでファイルのUTF-8のファイルとして読み込みしようとしますが
CSVのデータの中にshift-jisなどの他のUnicode文字列が含まれている為にエラーが生じます。
従って以下の様に、ファイルを操作する際にエンコードタイプを指定してあげる事で正常にファイルを読み込む事が出来るでしょう。

code_list = pd.read_csv('/content/drive/My Drive/google cora/code_list.csv', encoding='shift-jis')

以下をドライブのパスに修正致しました。
~~code_list = pd.read_csv('code_list.csv', encoding='shift-jis')~~

Comments

[dfmasap]

ありがとうございます。
こちらのサイトの様にCSVを読み込みました。
そうしたところ、Unicode Errorがでてしまいました。
そちらのエラーまでのコードを載せます。
大変恐縮ですが改善していただけないでしょうか。
よろしくお願いいたします。

[dfmasap]

ありがとうございます。分かりそうな事は自分で調べようと思います。精進します。