urllib.request.urlopenでAttributeError

Question

beautifulsoupを使って簡単なスクレイピングをしていて、macで構築した環境ではうまく行っていたのですが、dockerに環境構築後、うまくいかなくなってしまったので質問させていただきます。

エラー内容

test.pyというファイルに以下のようなコードを記述しており、dockerではないmacの環境ではスクレイピングに成功しました。

from bs4 import BeautifulSoup
import urllib.request
from dotenv import load_dotenv
import os
import socket

load_dotenv()

suumo_url = os.getenv('SUUMO_URL')

try:
    req = urllib.request.urlopen(suumo_url, timeout=10).read()
except socket.timeout:
    print("timeout")

name = ''
fee = ''
address = ''

soup = BeautifulSoup(req, 'html.parser')
contents = soup.find_all('div', class_='property')

for content in contents:

    if content.select('a.js-cassetLinkHref'):
        name = content.select('a.js-cassetLinkHref')[0].get_text()

    if content.select('div.detailbox-property-point'):
        fee = content.select('div.detailbox-property-point')[0].get_text()
    
    if content.select('td.detailbox-property-col'):
        address = content.select('td.detailbox-property-col')[4].get_text().strip()


    print("場所" + address + " " + name + "  家賃" + fee)

しかし、コンテナ内で実行すると以下のようなエラーが発生。

(コンテナ内)# python test.py
Traceback (most recent call last):
  File "/root/suumo/test.py", line 12, in <module>
    req = urllib.request.urlopen(suumo_url, timeout=10).read()
  File "/usr/local/lib/python3.9/urllib/request.py", line 214, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/local/lib/python3.9/urllib/request.py", line 507, in open
    req.timeout = timeout
AttributeError: 'NoneType' object has no attribute 'timeout'

こちらの記事や英語でのurllibに関するページなどを調べましたが、どれもtimeoutに関する設定を記述すればいいというようなことしか書いておらず、それ通りにtry, exceptを使って試してみたのですが、エラー内容は変わらず。

また、パッケージのインストール漏れなどかと思いましたが、下記の通り今回のファイル内で必要なパッケージはインストールされています。

#pip list
Package        Version
-------------- -------
beautifulsoup4 4.9.3
bs4            0.0.1
pip            21.2.1
python-dotenv  0.19.0
setuptools     57.4.0
soupsieve      2.2.1
urllib3        1.26.6
wheel          0.36.2

以下はDockerfile、docker-compose.ymlです。

FROM python:3
USER root

RUN apt-get update
RUN apt-get -y install locales && \
    localedef -f UTF-8 -i ja_JP ja_JP.UTF-8
ENV LANG ja_JP.UTF-8
ENV LANGUAGE ja_JP:ja
ENV LC_ALL ja_JP.UTF-8
ENV TZ JST-9
ENV TERM xterm

RUN apt-get install -y vim less
RUN pip install --upgrade pip
RUN pip install --upgrade setuptools

version: '3'
services:
  python3:
    restart: always
    build: .
    container_name: 'python3'
    working_dir: '/root/'
    tty: true
    volumes:
      - ./suumo:/root/suumo

コンテナ内のpythonのバージョンは3.9.6、ローカルのpythonのバージョンは3.9.0です。

以上となります。
ご教授よろしくお願いいたします。

Answer 1

https://github.com/python/cpython/blob/v3.9.6/Lib/urllib/request.py#L507
ここで AttributeError: 'NoneType' object has no attribute 'timeout' がでるのですから、第1引数のsuumo_urlがNoneなのだと考えるのが自然です。

suumo_url = os.getenv('SUUMO_URL')で取得できてないということなので、コンテナでpython test.pyする前に指定するはずなのを飛ばしているんじゃないでしょうか?

Answer 2

環境変数SUUMO_URLが定義されておらず、suumo_url がNoneなのではないでしょうか。
dotenvのファイルの場所や、volume、working_dirの設定が正しくないような気がします。