'module' object has no attribute 'request'が出る

Question

JSONでWEBスクレイピングをしようとしているのですが、やり方がわかりません。

import json
import urllib

url = 'http://xxx.com'
headers = {
        "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
        }
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
root = json.loads(response.read())
print('caution=' + root['copyright'])

というコードを書いたのですが、

request = urllib.request.Request(url=url, headers=headers)

AttributeError: 'module' object has no attribute 'request'

と出てしまいます。requestパッケージも入れましたが反応しません。どのように解決できますでしょうか？

追記

また、このようなコードでも実行致しました。

import json
import urllib.request

url = 'http://xxx.com'
headers = {
        "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
        }
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
root = json.loads(response.read())
print('caution=' + root['copyright'])

そうしますと、以下のような結果になりました。

import urllib.request

ImportError: No module named request

Answer 1

import urllib
print(urllib.__file__)

import sys
print(sys.prefix)

を確認してください。

普通なら

(Pythonが入っているところ)/lib/python3.6/urllib/__init__.py
(Pythonが入っているところ)

という結果になるはずですが、urllibの実体が妙なところを指していたりしないでしょうか。

Comments

[kyonmn]

同一でした。

[quickquip]

であれば本当に (略)/lib/python3.6/urllib/request.py がなくなっているのでしょう。Pythonの再インストールが必要だと思います。（一応。__init__.py 以外に error.py parse.py request.py response.py robotparser.py があるはずです）

[quickquip]

同一なのはいいとして、Python3.6じゃかったりはしないのでしょうか?

[kyonmn]

3.7です

[quickquip]

途中でバージョン変わりましたか。やること、確認することは変わらないですよ。

[kyonmn]

わかりました

Answer 2

print「文」から考えると、python2で実行したいのでしょうか。

であれば、

import json
import urllib2

url = 'http://xxx.com'
headers = {
        "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
        }
request = urllib2.Request(url=url, headers=headers)
response = urllib2.urlopen(request)
root = json.loads(response.read())
print 'caution=' + root['copyright']

ですかね。

Comments

[kyonmn]

現在利用しているのはpython3ですので、その点printの利用方法は間違っているとわかりました、ありがとうございます。

[hayataka2049]

可能性として考えられるのは、
・うっかりpython2で実行している（import sys;print(sys.version)という一行を先頭に足して実行してみてください。質問文のコードを実行したのと「同じ方法で」実行する必要があります）
・urllib.pyのようなファイルか、urllibという名前のフォルダをうっかり作っている

のどちらかだと思います。確認してみてください。

[kyonmn]

ターミナルにてpythonのバージョン確認を行いました。

$ python --version
Python 3.6.5

また、同時にpythonのバージョン確認をコードの中で行いました。結果は以下です。

3.6.5 (default, Feb 22 2019, 21:17:52)
[GCC 4.2.1 Compatible Apple LLVM 10.0.1 (clang-1001.0.37.14)]

Traceback (most recent call last):
File "/Users/xxx", line 4, in <module>
import urllib.request
ImportError: No module named request

以上です

[hayataka2049]

実行時カレントディレクトリにurllibの含まれるファイル/ディレクトリはないということでよろしいですか？
import sys;print(sys.path)の結果を教えてください。

[kyonmn]

申し訳ございません。実名が出てしまうので検証結果をお見せすることはできないのですが、同名のファイルは確認できませんでした。

[hayataka2049]

実名部分だけ適当な文字列（hogeなど）で置換して貼ってみてください。

[hayataka2049]

python3で実行していて、同名ファイル等の問題もないとしたら、インタプリタが壊れているか、インポートパスが変か・・・あと何があるかな。ちょっと考えておきますが、とりあえず今は可能性を一つずつ潰していくことです。

[kyonmn]

['/Users/hoge/Desktop/flightradar24JSON', '/Users/hoge/Desktop/flightradar24JSON/venv/lib/python27.zip', '/Users/hoge/Desktop/flightradar24JSON/venv/lib/python2.7', '/Users/hoge/Desktop/flightradar24JSON/venv/lib/python2.7/plat-darwin', '/Users/hoge/Desktop/flightradar24JSON/venv/lib/python2.7/plat-mac', '/Users/hoge/Desktop/flightradar24JSON/venv/lib/python2.7/plat-mac/lib-scriptpackages', '/Users/hoge/Desktop/flightradar24JSON/venv/lib/python2.7/lib-tk', '/Users/hoge/Desktop/flightradar24JSON/venv/lib/python2.7/lib-old', '/Users/hoge/Desktop/flightradar24JSON/venv/lib/python2.7/lib-dynload', '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7', '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-darwin', '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-tk', '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac', '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac/lib-scriptpackages', '/Users/hoge/Desktop/flightradar24JSON/venv/lib/python2.7/site-packages']
(venv) hogeMacBook-Pro:flightradar24JSON hoge$ sudo python ~/Desktop/flightradar24JSON/sample.py

[hayataka2049]

ん、pathを見るとpython2系のpathですね。でも、同時にsys.version見てみても、python3.6.5なんですよね？（一応もう一度確認お願いします。sys.pathと同時に（同じコード内に確認コードを入れて））

[kyonmn]

3.7に変わりました…

[hayataka2049]

質問者さんの環境がどうなっているのか把握できない状況ではアドバイスするのも難しいのですが、これを機に整理して自分で状態を把握できるようにすることをおすすめします。頑張ってください。

Answer 3

urllibはいくつかのモジュールで構成されていますが、それらは別のモジュールなので、urllibをimportしても一括ではimportできません。
それぞれを指定してimportする必要があります。

urllib.requestを使うのであれば、

import urllib.request

としてください。

Comments

[kyonmn]

それを行うと以下のような結果になります。
import urllib.request
ImportError: No module named request
追記致しました。申し訳ございませんでした。

Answer 4

urllib.request を import しないといけないのでは？

import urllib.request
または
from urllib import request

Comments

[kyonmn]

それを行うと以下のような結果になります。
import urllib.request
ImportError: No module named request

[tetsunosuke]

https://teratail.com/questions/109997

Pythonのバージョンは本当に３でしょうか？
確認してみてください！

[hayataka2049]

質問者さんはpython3を使っているとは一言も書いていませんね。

[kyonmn]

ターミナルにてpythonのバージョン確認を行いました。

$ python --version
Python 3.6.5

以上です

[tetsunosuke]

> hayataka2049 さん

貼り付けられているコードにpython3という記述はありましたので、その前提で確認してみました。

[hayataka2049]

＞tetsunosuke
あらら・・・見落としてました。すみません。

[tetsunosuke]

> hayataka2049 さん

いえいえ。
そして下の方で回答されている内容の疑いがたしかにありそうですね。