Python3 - さくらサーバー上で実行するとUnicodeEncodeErrorになる

Question

python3のエンコーディング問題

環境

さくらレンタルサーバー
Python 3.6.1

困っていること

いままでAnacondaに頼って来たこともあり、しばらくエンコーディング問題に直面したことがなかったので、以下のエラーがでて困っています。

スクリプト(test.py)

#!/home/<user>/local/python/bin/python3
# coding: utf-8
from bs4 import BeautifulSoup
import requests

url = 'http://hogehoge.com' #日本語のページ
html = requests.get(url)
soup = BeautifulSoup(html.content,'html5lib')
print(soup)

シェル

python3 test.py

エラー内容

UnicodeEncodeError: 'ascii' codec can't encode characters in position 315-323: ordinal not in range(128)

なんとかググって解決したいのですが、どうもしっくり来る答えが見つからず、困っています。

よろしくお願いします。

追記

このtest.pyを自分のローカルPCでは問題なく実行できます。

Answer 1

export LANG=en_US.UTF-8

BashでLANGにUTF-8を指定してからtest.pyを実行すると上手くいく気がします。

Comments

[starrow1103]

bash ではなく、cshだからか、上記コマンドは弾かれてしまいました＞＜

[YouheiSakurai]

setenv LANG en_US.UTF-8
ではいかがですか？

[starrow1103]

.cshrcファイルに記述したところ、無事エラーなくなりました！ありがとうございました！！！！

ところで、こういった知識はどこで仕入れて来るのでしょうか？
やはり専門的に学びたいと思った時に、必ずこういうところで引っかかってしまうのです・・・

[YouheiSakurai]

私の場合は、pipにマルチバイトの問題に対するプルリクエストを投げて、別アプローチのプルリクエストも合わせてウォッチしつつ、他人がしてるPythonの標準出力に関する議論を元にsysモジュールのドキュメンテーションやソースを読んでたので、この問題に関してカンが働きました。やっぱり問題に悩んでコードやドキュメンテーション、他の人のプルリクエストを読む必要があるので経験でしょうね。Teratailをウォッチして回答案を考えるのもいいエクササイズになると思います。

[starrow1103]

ありがとうございます！

まさに巨人の肩の上に立つ、ですね。
時間をかけて勉強していきます。

[YouheiSakurai]

そんな大層な、、、こちらこそありがとうございます。