strからbytes型への変換

Question

###前提・実現したいこと
「PythonによるWebスクレイピング（オライリー・ジャパン）」を使っていて、本書通りのコードを打ったところ、以下のエラーが発生しました。

###発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "webscraping.py", line 4, in <module>
    html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html", "html.parser")
  File "/Users/nakasemidori/.pyenv/versions/3.5.0/lib/python3.5/urllib/request.py", line 162, in urlopen
    return opener.open(url, data, timeout)
  File "/Users/nakasemidori/.pyenv/versions/3.5.0/lib/python3.5/urllib/request.py", line 463, in open
    req = meth(req)
  File "/Users/nakasemidori/.pyenv/versions/3.5.0/lib/python3.5/urllib/request.py", line 1170, in do_request_
    raise TypeError(msg)
TypeError: POST data should be bytes or an iterable of bytes. It cannot be of type str.

###該当のソースコード

from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html", "html.parser")
bs0bj = BeautifulSoup(html)

nameList = bs0bj.findAll("span", {"class": "green"})
for name in nameList:
  print(name.get_text())

###試したこと
エラー文は、POST dataはstr型ではなくbytes型ではないといけないというエラーだと思い、
nameList = bs0bj.findAll("span", {"class": "green"})
の部分を
nameList = bs0bj.findAll("span", {"class": "green"}.encode("utf-8"))
に書き換えても同じエラーがでてしまいます。

Answer 1

まず、エラーが出ている箇所はbs0bj.findAllではありません。
4行目のurlopenの第2引数が原因です。

html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html")
bs0bj = BeautifulSoup(html, "html.parser")

これで動作するはずです。

urlopenの第2引数dataの説明は以下の通りです。

data は、サーバーへ送信される追加データを指定した bytes オブジェクトか、そのようなデータが必要ない場合は None でなければなりません。data がイテラブルなオブジェクトの場合は、ヘッダーで Content-Length 値が指定されていなければなりません。現時点で HTTP リクエストは data をサポートする唯一のリクエスト形式です; HTTP リクエストは、data パラメーターが指定された場合 POST に、指定されない場合に GET になります。

まずはエラー文をちゃんと理解することが、上達の第一歩です。
エラー文の最後も大事なのですが、スタックトレースも見ることです。

  File "webscraping.py", line 4, in <module>
    html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html", "html.parser")

line 4と書いてありますよね、これは'webscraping.py'の4行目にエラーが出ているということです。
色々試行錯誤されていたようですが、試行錯誤のコードに到達する前にエラーが発生していたので、何をやっても同じエラーが出るという結果になっているのです。

Comments

[cir]

第2引数の設定が悪かったのですね。
いつも最後のエラー文ばかり気にしていました。次からはスタックトレースから確実に読むようにします。
回答ありがとうございました。