Error closing cursorとCannot operate on a closed databaseを解決したいです。お願いします。

Question

前提・実現したいこと

データベースにリンクを格納する。そのため上記のエラーを解決したいです。

2018年に出版された本を元にコードを書いています。
recordsライブラリを使いsqliteのデータベースを管理、
そして乱数放送局をエミュレートしデータベースにランダムな番号の一覧と別のページへのリンクを格納しようとしています。

コードを全てミスがないか確認、理解して実行したのですがどうも思った様な結果が出ません。
実行後データベースを確認するとテーブルは作成されている様なのですが、そのテーブルの中にランダムな番号の一覧と別ページのリンクがありません。ターミナルよりエラーを確認した所この様なエラーが出ていたのでこれが原因でないかと推測しました。まだまだ勉強を始めたばかりでどうもわからないのですが、返答頂けるとありがたいです。

発生している問題・エラーメッセージ

Error closing cursor
Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/result.py", line 1324, in fetchone
    row = self._fetchone_impl()
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/result.py", line 1204, in _fetchone_impl
    return self.cursor.fetchone()
sqlite3.ProgrammingError: Cannot operate on a closed database.

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1339, in _safe_close_cursor
    cursor.close()
sqlite3.ProgrammingError: Cannot operate on a closed database.
Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/result.py", line 1324, in fetchone
    row = self._fetchone_impl()
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/result.py", line 1204, in _fetchone_impl
    return self.cursor.fetchone()
sqlite3.ProgrammingError: Cannot operate on a closed database.

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "seven.py", line 113, in <module>
    url_to_visit = get_random_unvisited_page()
  File "seven.py", line 72, in get_random_unvisited_page
    link =db.query('''SELECT *FROM pages
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/records.py", line 214, in first
    record = self[0]
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/records.py", line 152, in __getitem__
    next(self)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/records.py", line 136, in __next__
    nextrow = next(self._rows)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/records.py", line 365, in <genexpr>
    row_gen = (Record(cursor.keys(), row) for row in cursor)
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/result.py", line 999, in __iter__
    row = self.fetchone()
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/result.py", line 1331, in fetchone
    self.connection._handle_dbapi_exception(
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1481, in _handle_dbapi_exception
    util.raise_(
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/util/compat.py", line 178, in raise_
    raise exception
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/result.py", line 1324, in fetchone
    row = self._fetchone_impl()
  File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/sqlalchemy/engine/result.py", line 1204, in _fetchone_impl
    return self.cursor.fetchone()
sqlalchemy.exc.ProgrammingError: (sqlite3.ProgrammingError) Cannot operate on a closed database.
(Background on this error at: http://sqlalche.me/e/f405)

該当のソースコード

import requests
import records
import re
import os,os.path
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urldefrag
from sqlalchemy.exc import IntegrityError

db =records.Database('sqlite:///wikipedia.db')

db.query('''CREATE TABLE IF NOT EXISTS pages(
            url text PRIMARY KEY,
            created_at datetime,
            html_file text Null,
            visited_at datetime Null)''')

db.query('''CREATE TABLE IF NOT EXISTS links(
            url text,link_url text,
            PRIMARY KEY (url,link_url))''')

db.query('''CREATE TABLE IF NOT EXISTS images(
            url text,img_url text,img_file text,
            PRIMARY KEY (url,img_url))''')

base_url = 'https://en.wikipedia.org/wiki/'
file_store = './downloads/'

if not os.path.exists(file_store):
    os.makedirs(file_store)

def url_to_file_name(url):
    url = str(url).strip().replace('','')
    return re.sub(r'(?u)[^-\w.]','',url)

def download(url,filename):
    r =requests.get(url,stream=True)
    with open(os.path.join(file_store,filename),'wb') as the_image:
        for byte_chunk in r.iter_content(chunk_size=4096*4):
            the_image.write(byte_chunk)

def store_page(url):
    try:
        db.query('''INSERT INTO pages (url,created_at)
                    VALUES(:url,CURRENT_TIMESTAMP)''',
                 url=url)
    except IntegrityError as ie:
            pass
def store_link(url,link_url):
    try:
        db.query('''INSERT INTO links(url,link_url)
                    VALUES(:url,:link_url)''',
                 url=url,link_url=link_url)
    except InergrityError as ie:
            pass

def store_image(url,img_url,img_file):
    try:
        db.query('''INSERT INTO images(url,img_url,img_file)
                    VALUES(:url,:img_url,:img_file)''',
                 url=url, img_url=img_url,img_file=img_file)
    except IntegrityError as ie:
        pass

def set_visited(url,html_file):
    db.query('''UPDATE pages
                SET visited_at=CURRENT_TIMESTAMP,
                    html_file=:html_file
                WHERE url=:url''',
             url=url,html_file=html_file)

def get_random_unvisited_page():
    link =db.query('''SELECT * FROM pages
                      WHERE visited_at Is NULL
                      ORDER BY RANDOM() LIMIT 1''').first()
    return None if link is None else link.url

def should_visit(link_url):
    link_url = urldefrag(link_url)[0]
    if not link_url.startswith(base_url):
        return None
    return link_url

def visit(url):
    print('Now visiting:',url)
    html = requests.get(url).text
    html_soup = BeautifulSoup(html,'html.parser')

    for link in html_soup.find_all("a"):
        link_url =link.get('href')
        if link_url is None:
            continue
        link_url = urljoin(base_url, link_url)
        store_link(url,link_url)
        full_url=should_visit(link_url)
        if full_url:
            store_page(full_url)
    for img in html_soup.find_all("img"):
        img_url = img.get('src')
        if img_url is None:
            continue
        img_url = urljoin(base_url,img_url)
        filename = url_to_file_name(img_url)
        download(img_url,filename)
        store_image(url,img_url,filename)

    filename = url_to_file_name(url) + 'html'
    fullname = os.path.join(file_store,filename)
    with open(fullname,'w','encoding=utf-8') as the_html:
        the_html.write(html)
    set_visited(url,filename)

store_page(base_url)
url_to_visit = get_random_unvisited_page()
while url_to_visit is not None:
    visit(url_to_visit)
    url_to_visit = get_random_unvisited_page()

試したこと

エラーの内容をググリました。直訳ではdatabase、cursorが閉じているとのこと。
コードは合っている？と思ったので直接エラーを調べました。
結果海外のサイトでrecordsのバージョンを０.５２にすることで解決しましたと見つけました。
バージョンが変わってしまうとどうしようもないのでしょうか？または、他に問題があるのでしょうか？

補足情報（FW/ツールのバージョンなど）

**records 0.5.3 **

beautifulsoup4 4.8.2
certifi 2019.11.28
chardet 3.0.4
docopt 0.6.2
et-xmlfile 1.0.1
idna 2.9
jdcal 1.4.1
openpyxl 2.4.11
pip 20.0.2
requests 2.23.0
selenium 3.141.0
setuptools 41.2.0
soupsieve 2.0
SQLAlchemy 1.3.15
tablib 1.1.0
urllib3 1.25.8

Comments

[hoshi-takanori]

関係あるか知りませんが、get_random_unvisited_page の SELECT * の後ろが全角スペースになってます。

[jury_new]

返答、ご指摘ありがとうございます。今のところエラーの改善はみられませんがもう一度確認していこうと思います。

[hoshi-takanori]

records のバグっぽいですね。もうだいぶ放置されてるようです…。
https://github.com/kennethreitz-archive/records/issues/149

[jury_new]

そうでしたか、、違うライブラリを使用することを検討してみます。
ありがとうございました。

[hoshi-takanori]

とりあえず動かしたいのであれば、以下のコマンドで修正版を入れる方法もあるようです。
pip install --upgrade 'git+https://github.com/shacknetisp/records.git@ee04fb246889b6bcf0d5ffbc9337c047da5eaa34'

[jury_new]

ありがとうございます。重ねてもうひとつ宜しいでしょうか？本当に初歩的なことを聞いてしまうのですが、コマンドで修正版を手に入れると言うのはターミナルに上記３文を入力すると言うことでよかったでしょうか？何度も申し訳ありません。

[hoshi-takanori]

あ、なんかコメント欄だとおかしくなりますね。回答欄に書き直します。

Answer 1

records 0.5.3 にはバグがあって sqlite3 だとうまく動かないようです。
参考: https://github.com/kennethreitz-archive/records/issues/149

マージされてない修正版のプルリクがあるので、それを使うには次のコマンドを実行すればいいと思います。
(改行されて見えるかもしれませんが、一行のコマンドです。また、pip じゃなくて pip3 を使ってる場合は最初の pip を書き換えて実行してください。)

pip install --upgrade 'git+https://github.com/shacknetisp/records.git@ee04fb246889b6bcf0d5ffbc9337c047da5eaa34'

Comments

[jury_new]

ご丁寧にありがとうございます。とても分かりやすいです。
ずっと悩んでいたのですっきりしました。本当に助かりました。

[jury_new]

上記のエラーは改善しました。ありがとうございます。