単語の出現回数をpythonでカウントするプログラムのエラー

Question

前提・実現したいこと

以下のサイトを参考にしながら単語の出現回数をpythonでカウントするプログラムを書いています。
参考サイト

発生している問題・エラーメッセージ

実行したところ、以下のエラーが出ました。
参考のコードと比較して何が問題なのでしょうか。
修正するためのアドバイスをいただきたいです。

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-4-318f4806d0b0> in <module>()
      1 f = open('sample.txt')
----> 2 data = f.read()
      3 
      4 # counting
      5 words = {}

~/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/codecs.py in decode(self, input, final)
    319         # decode input (taking the buffer into account)
    320         data = self.buffer + input
--> 321         (result, consumed) = self._buffer_decode(data, self.errors, final)
    322         # keep undecoded input until the next call
    323         self.buffer = data[consumed:]

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

txtファイルの中身は１列のみで空白のないexcelファイルからtxtファイルに書き出したのですが、書き出したtxtファイルを見て見ると単語と単語の間に大きな空白がある状態で書き出されていました。
sample.txt

りんご



																																																																																																																																																																																																																																																															
いちご




りんご

該当のソースコード

f = open('sample.txt')
data = f.read()

# counting
words = {}
for word in data.split():
    words[word] = words.get(word, 0) + 1

# sort by count
d = [(v,k) for k,v in words.items()]
d.sort()
d.reverse()
for count, word in d[:20]:
    print (count, word)

補足情報（FW/ツールのバージョンなど）

Microsoft Excel for Mac バージョン16.13

Python 3.6.3

オペレーティングシステム名(os.name):Mac OS X
ここにより詳細な情報を記載してください。

Answer 1

確認したいのですが、sample.txtの文字コードはutf-8でしょうか？
python3のopen()関数は引数encodingを指定しない場合、「多分このファイルは実行環境のデフォルト文字コードで書いてるんやろ！」って解釈します。ちなみにwindowsのコマンドプロンプトはcp932 ≒ ShiftJISだったはず...

sample.txtの文字コードを確認してみてください。もしもShiftJISとか、utf-8以外の文字コードの場合、明示的に書いてあげる必要があります。

# sample.txtがShift_JISの場合
f = open('sample.txt', mode="rt", encoding="shift_jis")
data = f.read()
...

Comments

[退会済みユーザー]

ご回答いただきましてありがとうございます。
$ file -mine　ファイル名で確認しましたところ、sample.txtは
「Little-endian UTF-16 Unicode text, with CRLF line terminators」でした。この場合はutf8に変更する必要があるという理解で正しいでしょうか。

[退会済みユーザー]

解決しましたありがとうございました。

Answer 2

まず、

UnicodeDecodeError Traceback (most recent call last)

文字コードが違うという事です。　お手軽には、かなでなく、Ascii(半角英数)するとエラーが無くなると思います。日本語対応は、、、調べないと分からない(検索する沢山ありましたが、未検証)

Excelファイルの出力の件は、どうやって Excelファイルを テキストファイルにしているか不明なので、分かりませんが、一般的な話として、見た目、空でも空文字(空白など)が入っている事がよくあります。それに該当してませんか?

参考までに。

Comments

[退会済みユーザー]

ご回答いただきましてありがとうございました。