AttributeError: module 'urllib' has no attribute 'urlopen'

Question

環境：Python3.5/CENTOS7/さくらのVPS

pythonでimportがうまくいかない【Webスクレイピング】
https://teratail.com/questions/84432
と同様のエラーが出ているが３日かけても解消できずに質問。

解消したいエラーメッセージ

Traceback (most recent call last):
File "/var/www/cgi-bin/ai.py", line 123, in <module>
next, captions = get_youtube_caption(channel_id, after, before, next)
File "/var/www/cgi-bin/ai.py", line 58, in get_youtube_caption
request = urllib.urlopen(
AttributeError: module 'urllib' has no attribute 'urlopen'

前提・実現したいこと

こちらの、かわみさんがやっているキズナアイの発言を収集するプログラムを写経して動かしたい
http://kawami.hatenablog.jp/entry/2018/07/30/224512
質問主はPython初挑戦（RNN言語モデル作成とは程遠いレベル）
Python2.7.5でYoutubeDataAPIとMecabを最低限動作させることはできた。

工程

Youtube DataAPIを使うために、Oauthのaccess_tokenとrefresh_tokenを取得
→こちらのヒメカンさんのツールに頼って発行
https://himakan.net/tool/get_google_oauth_api_token
↓
サンプルコードをコピペして、必要なパッケージをインストールしてエラーを解消していく
↓
"Channels: list"APIで、キズナアイの動画のリストを取得：動かない（←イマココ）
"Captions: list"APIで、動画に付与された字幕のリストを取得：動かない
"Captions: download"APIで、字幕をダウンロード：動かない
↓
RNN言語モデル作成（ゴール）

実行環境

VPS（CENTOS７）に、Python３.5をインストールし、https://domain/cgi-bin/hoge.pyファイルを直接編集して、URLをブラウザで表示しています。（CGIとして動作させ、Webのログに上記エラーが出現します）
エラーは、/var/log/error_log.log を都度開いて確認しています。
「解消したいエラーメッセージ」が出てくる、というよりは、書き込まれているのをいちいちファイルを開いて確認しています。なお、Teratermからコマンドで実行しても、エラー内容、実行結果は同じです。
本当はPycharmやコマンドからエラー付きで即時表示（実行）すべきなのは頭では理解しています。。

該当のソースコード

#!/usr/bin/python
# -*- coding:utf-8 -*-
from urllib import request as urllib
import urllib
import json
import datetime
import requests
import codecs
import http.server
import sys
import io
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
from urllib.error import HTTPError
print ('Content-Type: text/html;charset=utf-8\n')
print ('HELLO３')

key = ""
access_token = ""
_refresh_token = ""

def get_access_token():
    url = "https://accounts.google.com/o/oauth2/token"
    s = requests.Session()
    params = {"code": input("code>>"),
              "client_id": input("client_id>>"),
              "client_secret": input("client_secret>>"),
              "redirect_uri": input("redirect_uri>>"),
              "grant_type": "authorization_code"}
    r = s.post(url, data=params)
    print(r.text.encode("utf-8"))

def refresh_token():
    url = "https://accounts.google.com/o/oauth2/token"
    s = requests.Session()
    params = {"client_id": input("client_id>>"),
              "client_secret": input("client_secret>>"),
              "refresh_token": _refresh_token,
              "grant_type": "refresh_token"}
    r = s.post(url, data=params)
    print(r.text.encode("utf-8"))

def get_youtube_caption(ch, term_start, term_end, next):
    # チャンネルの指定期間内の動画一覧を取得
#UC4YaOt1yT-ZeyB0OmxHgolA
    video_id_list = []
    request = urllib.urlopen(
        "https://www.googleapis.com/youtube/v3/search?part=snippet&type=video&videoCaption=closedCaption&channelId=" + ch + term_start + term_end +
        "&maxResults=50&key=" + key + "&pageToken=" + next)
    response = request.read() 
    data = json.loads(response) 

    for d in data["items"]:
        if "videoId" in d["id"]:
            video_id_list.append(d["id"]["videoId"])
    if "nextPageToken" in data:
        next_page_token = data["nextPageToken"]
    else:
        next_page_token = ""

    # 取得した動画の字幕一覧を取得
    caption_id_list = []
    for video_id in video_id_list:
        request = urllib.urlopen(
            "https://www.googleapis.com/youtube/v3/captions?part=snippet&videoId=" + video_id + "&key=" + key)
        response = request.read()
        data = json.loads(response)
        for item in data["items"]:
            lang = item["snippet"]["language"]
            trackKind = item["snippet"]["trackKind"]  # "standard" -> manual, "ASR" -> auto
            # Sorry, Japanese Only.
            if lang == "ja" and trackKind == "standard":
                caption_id = item["id"]
                caption_id_list.append(caption_id)

    # 字幕をダウンロード
    caption_data = []
    for caption_id in caption_id_list:
        headers = {"Authorization": " Bearer " + access_token}
        request = urllib.Request(
            url="https://www.googleapis.com/youtube/v3/captions/" + caption_id + "?tfmt=ttml&key=" + key,
            headers=headers)
        try:
            request = urllib.urlopen(request)
            response = request.read()
            data = codecs.decode(response)
            caption_data.append((caption_id, data))
        except HTTPError as e:
            print("error{}".format(e.headers))

    return next_page_token, caption_data


def write(outputdir, caption_list):
    for caption_id, caption in caption_list:
        with open("{}/{}.ttml".format(outputdir, caption_id), "wt", encoding="utf-8") as f:
            f.write(caption)
            f.flush()


if __name__ == '__main__':
    outputdir = "./resources/kizunaai" # 出力先ディレクトリ
    channel_id = "UC4YaOt1yT-ZeyB0OmxHgolA" # 取得するチャンネルID
    num = 36
    date = datetime.datetime.now()
    for i in range(num):
        before = "&publishedBefore=" + date.strftime("%Y-%m-%dT%H:%M:%S.000Z")
        date = date - datetime.timedelta(weeks=4)
        after = "&publishedAfter=" + date.strftime("%Y-%m-%dT%H:%M:%S.000Z")
        next = ""
        while True:
            next, captions = get_youtube_caption(channel_id, after, before, next)
            write(outputdir, captions)
            if next == "":
                break

最新の状態

文法誤りやPythonのバージョン指定を切り替えるなどして
最低限、print ('HELLO３')がブラウザに表示される状態に。

試したこと

１：StackOverFlowの言う通り、
request = urllib.urlopen(を、importの指定を変えたり、（『from』『as』を使うなどして、）
request = urlopen(
にしたり、
request = urllib3.urlopen(
にしたり、
import urllib.request
dataX = urllib.request.urlopen(url)
など変更していったが解消せず。

２：Pythonのバージョンを、2.7.5->3.4->3.6->3.5と切り替えてきたが解消せず。Pyenvを一度インストールしたが概念を理解できず。
代わりに、Pythonのそれぞれのバージョンを、

[root@localhost ~]# yum install -y python35u python35u-libs python35u-devel python35u-pip

とyumでインストール。その後、手動で下記のように

[root@localhost ~]# ln -s /bin/python3.6 /bin/python3
[root@localhost ~]# unlink /bin/python
[root@localhost ~]# ln -s /bin/python3 /bin/python
[root@localhost ~]# ln -s /bin/pip3.6 /bin/pip

リンクを張りなおして対応しています。上記のリンク張り替え作業によって、
シバンが、

#!/usr/bin/python

のままでも、実際は3.5で実行されています。

３：pipとpip3を何度もインストール

# pip3 install urllib3
Requirement already satisfied: urllib3 in /usr/lib/python3.5/site-packages
You are using pip version 9.0.1, however version 19.3.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.

４：時間をかければ何とかなるだろうと、にっちもさっちもいかなくなる

↓

Terarailではじめての質問。

---

という次第です。
ソースコードをフルコピペして良いのか（デバッグ依頼と見做されてしまう（仮（？）））、
語尾はですますか紋きりか、Python習熟のための写経経過をそのまま出してよかったのか？、Terarailで参照する事はマナー違反にならないか？、などなど、ルールがわかっておりません。
みなさんにご指導いただきたく、質問に至りました。
お知恵を貸してください。

Comments

[quickquip]

ソースコードは「該当のソースコード」でいいと思いますが、「このソースを」「今」実行したら「解消したいエラーメッセージ」に出てくるメッセージがでてくるのですか? どうやって実行していますか?

> Pythonのバージョンを、2.7.5->3.4->3.6->3.5と切り替えてきたが
どうやって?

[退会済みユーザー]

1:実行環境
VPS（CENTOS７）に、Python３.5をインストールし、https://domain/cgi-bin/hoge.pyファイルを直接編集して、URLをブラウザで表示しています。 エラーは、/var/log/error_log.log を都度開いて確認しています。
「解消したいエラーメッセージ」が出てくる、というよりは、書き込まれているのをいちいちファイルを開いて確認しています。なお、Teratermからコマンドで実行しても、エラー内容、実行結果は同じです。
本当はPycharm等から「今」実行すべきなのは頭では理解しています。。

２：Pythonの切り替え手段
下記のように、リンクを張り替えて対応しております。
[root@localhost ~]# ln -s /bin/python3.6 /bin/python3
[root@localhost ~]# unlink /bin/python
[root@localhost ~]# ln -s /bin/python3 /bin/python
[root@localhost ~]# ln -s /bin/pip3.6 /bin/pip

コメントありがとうございます、とても嬉しいです。

[quickquip]

情報はこの欄ではなくて質問に追記しましょう。
(/var/www/cgi-bin/ai.py に置いて、CGIとして動作させたら、Webのログに出ている という状況です。これが書かれていないです)

> Python３.5をインストールし
どうやってインストールしていますか? /bin にコマンドができるのですね。

> Teratermからコマンドで実行しても
どういうコマンドですか?

shebang(1行目)は本当にこう書いていますか? (システムPython2を起動しているように見えます)

Answer 1

二行目を消してください。

from urllib import request as urllib
import urllib

せっかくurllib.requestをurllibと名付けてimportしたのに、一瞬で上書きしてしまう愚行です。

urllib --- URL を扱うモジュール群 — Python 3.8.0 ドキュメント

Comments

[退会済みユーザー]

２行目を削除したところ、該当するエラーがなくなりました。解決です。

代わりに、

File "/usr/lib64/python3.5/http/client.py", line xxx
File "/usr/lib64/python3.5/http/socket.py", line xxx
File "/usr/lib64/python3.5/http/request.py", line xxx
PermissionError: [Errno 13] Permission denied

というエラーが１０数行、現れたため自分で試してNGな場合は、
場を改めて質問したいと思います。
ありがとうございました。

〜今回先生方から学んだ事〜
１：質問の作法（quiqui先生、コメント欄でのご指導ありがとうございました
２：import urllibを追記してエラーがシンプルになったのを前進したと勘違いしていたが、実際は後退して別のエラーが表示されていただけだった事

[退会済みユーザー]

３：エンジニアのみなさんと交流するための素養づくりを目的とすると有意義な体験だが、現状のレベルからキャッチアップして、自力でアプリ起業を目指すのは無謀。
外注すべきである事。（どこかで線引きが必要になる