質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

文字コード

文字コードとは、文字や記号をコンピュータ上で使用するために用いられるバイト表現を指します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

Q&A

解決済

1回答

6359閲覧

[python] 日本語文字を含むURLにurllib.request.urlopenでアクセスしたい

kureid

総合スコア3

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

文字コード

文字コードとは、文字や記号をコンピュータ上で使用するために用いられるバイト表現を指します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

HTML

HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

0グッド

0クリップ

投稿2020/07/13 04:28

前提・実現したいこと

python3で,htmlからtableタグの部分をcsv化するプログラムを作成しています.

url = "https://wiki.ポケモン.com/wiki/種族値一覧_(第八世代)
として,
html = urllib.request.urlopen(url)
で指定したwebページを開こうとしても,
'latin-1' codec can't encode characters in position 5-8: ordinal not in range(256)
​というエラーメッセージが表示され,開くことができません.

発生している問題・エラーメッセージ

'latin-1' codec can't encode characters in position 5-8: ordinal not in range(256)

該当のソースコード

python3

1import urllib.request 2from urllib.parse import urlparse 3import csv 4from bs4 import BeautifulSoup 5import requests 6 7url1 = "https://wiki." 8url2 = "ポケモン" 9url3 = ".com/wiki/" 10url4 = "種族値一覧_(第八世代)" 11 12url = "https://wiki.ポケモン.com/wiki/種族値一覧_(第八世代)" 13html = urllib.request.urlopen(url) 14 15 16soup = BeautifulSoup(html, 'html.parser') 17#HTMLからtableタグの部分をすべて取得 18table = soup.find_all("table") 19 20for tab in table: 21 table_className = tab.get("class") 22 print(table_className) 23 if table_className[0] == "bluetable r sortable jquery-tablesorter": 24 with open("Pokemon_Base_stats", "w", encoding='utf-8') as file: 25 writer = csv.writer(file) 26 rows = tab.find_all("tr") 27 for row in rows: 28 csvRow = [] 29 for cell in row.findAll(['td', 'th']): 30 csvRow.append(cell.get_text()) 31 writer.writerow(csvRow) 32 break 33

試したこと

エラーメッセージの検索をかけたところ,日本語部分の文字コードの問題だということだったので,
日本語部分をurllib.parse.quote()でエンコードしてurlを構築する方法を試してみました.

python3

1url1 = "https://wiki." 2url2 = "ポケモン" 3url3 = ".com/wiki/" 4url4 = "種族値一覧_(第八世代)" 5url = url = url1 + urllib.parse.quote(url2) + url3 + urllib.parse.quote(url4)

結果は同様のエラーメッセージが出力されました.

また,
https://qiita.com/mix/items/87d094414e46f857de45
こちらのページにて実行されていた

python3

1html = urllib.request.urlopen(urllib.parse.quote_plus(url, "/:?=&"))

というエンコード方法や,

python3

1url = "https://wiki.ポケモン.com/wiki/種族値一覧_(第八世代)" 2p = urlparse(url) 3query = urllib.parse.quote_plus(p.query, safe='=&') 4url = '{}://{}{}{}{}{}{}{}{}'.format( 5 p.scheme, p.netloc, p.path, 6 ';' if p.params else '', p.params, 7 '?' if p.query else '', query, 8 '#' if p.fragment else '', p.fragment) 9print (url) 10html = urllib.request.urlopen(url)

このようなエンコード方法を試してみました.
こちらの方法の場合,エラーメッセージは

'ascii' codec can't encode characters in position 10-14: ordinal not in range(128)

となりました.

補足情報(FW/ツールのバージョンなど)

仮想環境
Google Colaboratory

実機環境
iMac macOS Catalina
python 3.8.1

となっております.

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

ホスト名部分は、エンコード方法が違います。

Python

1url1 = "https://wiki.ポケモン.com".encode("idna") 2 3url2 = urllib.parse.quote("/wiki/種族値一覧_(第八世代)")

投稿2020/07/13 04:42

otn

総合スコア84538

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kureid

2020/07/13 06:08

ご回答いただきありがとうございます. ご指摘いただいたコードでエンコードをしたのですが,url1とurl2の連結がうまくいきません. url1 = "https://wiki.ポケモン.com".encode("idna") url2 = urllib.parse.quote("/wiki/種族値一覧_(第八世代)") url = url1+ url2 このように連結した場合は TypeError: can't concat str to bytes のエラーが発生しました. url = str(url1)+ url2 このように連結した場合は,urlが url = b'https://wiki.xn--rckteqa2e.com'/wiki/%E7%A8%AE%E6%97%8F%E5%80%A4%E4%B8%80%E8%A6%A7_%28%E7%AC%AC%E5%85%AB%E4%B8%96%E4%BB%A3%29 というような文字列になり, URLError: <urlopen error unknown url type: b'https> というエラーメッセージが出たほか,https~部分をアドレスバーに入力してもwebページにアクセスすることができませんでした. 簡単に調べてみましたが,解決することができませんでした. お手数ですが,再度ご教授いただければ幸いです.
otn

2020/07/13 06:24 編集

失礼しました。encodeしたら、decodeが必要ですね。 url1 = "https://wiki.ポケモン.com".encode("idna").decode("us-ascii")
kureid

2020/07/13 07:21

無事にwebページにアクセスすることができました. ご対応いただきありがとうございます.
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問