文字列の中から、\uではじまる記号が現れたり消えたり…

Question

###前提・実現したいこと
複数行の文字列を検索して、その前後を表示するプログラムを作っています。
検索元の文字列を表示するのはふつうにできるのに、検索結果を表示すると\uが混ざります。
全角スペースが「\u3000」になってしまいします。どうしてですか…？

###該当のソースコード
『たなばたさま』の歌詞の中から、「お星さま」がある付近を抜き出して表示したい。

lyric = '''ささの葉 さらさら
のきばに ゆれる
お星さま きらきら
きんぎん 砂子(すなご)

五しきの たんざく
わたしが かいた
お星さま きらきら
空から みてる'''

print(lyric)

splited = lyric.split('\n')
for i, line in enumerate(splited):
    if 'お星さま' in line:
        print(splited[i-1:i+2])

print(lyric)でこれが返ってきます（合ってる）。

ささの葉 さらさら
のきばに ゆれる
お星さま きらきら
きんぎん 砂子(すなご)

五しきの たんざく
わたしが かいた
お星さま きらきら
空から みてる

print(splited[i-1:i+2])でこれが返ってきます（思ってるのとちがう）。

['のきばに\u3000ゆれる', 'お星さま\u3000きらきら', 'きんぎん\u3000砂子(すなご)']
['わたしが\u3000かいた', 'お星さま\u3000きらきら', '空から\u3000みてる']

さっきは全角スペースきちんと表示できてたと思うのに\u3000になるのどうして…！！

###試したこと
lyricをutf-8にencodeできていないからいけないのかなと思い、こういうふうに変えてみました。
この行を、

splited = lyric.split('\n')

こういうふうに。

splited = lyric.encode('utf-8').decode('utf-8').split('\n')

結果は変わりませんでした…。

つぎに、print部分を以下のように変えてみました。

print(','.join(splited[i - 1:i + 2]))

するとうまくいきました！ よくわかりません！！

のきばに ゆれる,お星さま きらきら,きんぎん 砂子(すなご)
わたしが かいた,お星さま きらきら,空から みてる

###補足情報(言語/FW/ツール等のバージョンなど)
python -Vしたらこうなります。

Python 3.5.3 :: Anaconda 2.5.0 (x86_64)

OSX Yosemite 10.10.5です。
ターミナルは2.5.3です。
ターミナルに、下記のように入力しました。

python （ファイルパス）.py

よろしくお願いします！

Comments

[miyahan]

MacでもWindowsでも再現しなかったのですが、OS・実行環境(コマンドプロンプト、terminal.app等）はなんでしょうか？

[miyahan]

もう１つ。print 部分を print(','.join(splited[i - 1:i + 2])) とした場合も全角スペースはデコードされないでしょうか？

[hacosato]

聞いてくださりありがとうございます。追記しました！ print書き換えたらうまくいきます！！

Answer 1

Windows環境(python3.5.3)でも再現しました。
通常、print関数に、文字列を渡した場合は、標準出力先の文字コードに従って、適切にエンコードされて出力（表示）されます。
ただし、print(['あ','い','う'])のようにリストを渡した場合は、['あ','い','う']のようにリストのまま出力されます。その際、各要素の文字列内の全角空白(U+3000)などの一部の文字はエンコードされず\u3000のようにエスケープ表現で出力されるようです。

リストの文字列を要素毎に改行して出力するには、print('\n'.join(splited[i - 1:i + 2]))のようにするか、以下の例のように*でリスト展開しsep='\n'指定してprintすればよいです。

# -*- coding: utf-8 -*-

# 空白(U+0020)ではなく全角空白(U+3000)を含む
lyric='''ささの葉 さらさら
のきばに ゆれる
お星さま きらきら
きんぎん 砂子(すなご)

五しきの たんざく
わたしが かいた
お星さま きらきら
空から みてる'''

print(lyric)
print('-----')

splited = lyric.split('\n')
for i, line in enumerate(splited):
    if 'お星さま' in line:
        l = splited[i-1:i+2]
        print(type(l))  # list
        print('リストのまま出力-----')
        print(l)
        print('リスト展開して出力-----')
        print( *l, sep='\n') # リストを展開して改行区切りで出力

結果

ささの葉 さらさら
のきばに ゆれる
お星さま きらきら
きんぎん 砂子(すなご)

五しきの たんざく
わたしが かいた
お星さま きらきら
空から みてる
-----
<class 'list'>
リストのまま出力-----
['のきばに\u3000ゆれる', 'お星さま\u3000きらきら', 'きんぎん\u3000砂子(すなご)']

リスト展開して出力-----
のきばに ゆれる
お星さま きらきら
きんぎん 砂子(すなご)
<class 'list'>
リストのまま出力-----
['わたしが\u3000かいた', 'お星さま\u3000きらきら', '空から\u3000みてる']
リスト展開して出力-----
わたしが かいた
お星さま きらきら
空から みてる

Comments

[miyahan]

pyenvで同じバージョンを入れてみましたが、macOS 10.12、Windows 10 のどちらでも再現しませんでした。一部のユニコード文字がエスケープされて出力される条件・範囲もしくはメカニズムはわかるでしょうか？

[8524ba23]

pashango2さんの回答のとおりだと思います。
こちらの環境（標準出力はcp932）では
s = 'あ　い' # U+3042, U+3000, U+3044
print(repr(s)) # 'あ\u3000い'
print(str(s)) # あ い
となりました。

[miyahan]

すみません、検証したコードが半角スペースになっていただけでした。
いずれのプラットフォームでも再現しました。
失礼しました。

[8524ba23]

teratailのソースコード欄では、全角空白U+3000→U+0020に置き換わるようですね。
このコメント欄では全角空白U+3000を維持しているようですが。
こちらも最初は再現せず「？」と思いました。

[hacosato]

ありがとうございました！
printがそういう仕様なのですね。勉強になりました。
printに渡すものを、リストではなくて文字列にすればいいです。

http://docs.python.jp/3/tutorial/controlflow.html#unpacking-argument-lists
*でリスト展開することを「引数リストのアンパック」と言います（自分用メモ）。

Answer 2

can110さんのご指摘の通り、ごくごく単純な話でprintにリストを渡しているので、リストの__repr__が表示されているだけです。

以下の質問と同じ原因です、参考になると思います。

https://teratail.com/questions/81527

Comments

[hacosato]

ありがとうございました。
printに渡すものを、リストではなくて文字列にすればいいですね。
ナットクできるような気もするし、それぐらいなんとかしてよ！って気もしますけど、わかりました。