質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Python 2.7

Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

文字コード

文字コードとは、文字や記号をコンピュータ上で使用するために用いられるバイト表現を指します。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

Q&A

解決済

2回答

1071閲覧

pythonでファイル読み込みした際の文字列のバイト数がおかしくなる。謎の見えない3バイトが付いてくる。

narinko

総合スコア31

Python 2.7

Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

文字コード

文字コードとは、文字や記号をコンピュータ上で使用するために用いられるバイト表現を指します。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

0グッド

0クリップ

投稿2017/11/11 17:41

テキストファイルを作り、pythonで読み込みバイト数を調べました。しかし、最初の一行に謎の見えない3バイトが付いてしまいます。この正体は何でしょうか?消し方も教えてください。
windows7,Anaconda,Spyder,python2を使っています。
文字コードや改行コードについてはあまりよく分かっていません。関係あるか分かりませんが。

test.txt(UTF-8,CR+LFで保存)

あいうえお かきくけこ さしすせそ

test.py

# -*- coding: utf-8 -*- f = open('test.txt', 'r') f_read = f.read().split('\n') for i in f_read: print i, len(i)

実行結果

あいうえお 18 かきくけこ 15 さしすせそ 15

このように日本語は一文字3バイトのはずですが、「あいうえお」だけ3バイト余計です。分かる方よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

申し訳ないです、python 2.7環境というのを見落としてました。
メモ帳でテキストファイルを保存しませんでしたかー?
バイトオーダーマーク略称 BOMが保存されていると思います。

python 2.7環境の場合はcodecsを使う必要があります。

python

1# -*- coding: utf-8 -*- 2from __future__ import unicode_literals 3import codecs 4 5 6def main(): 7 with codecs.open('test.txt', 'r', encoding='utf-8-sig') as f: 8 for text in f.readlines(): 9 text = text.rstrip('\r\n') 10 print text, len(text) 11 12 13if __name__ == '__main__': 14 main() 15

消し方も教えてください。

  1. テキストファイルを保存する時にメモ帳以外のソフト(Bracketsなど)で保存する。
  2. バイナリエディタでBOMを削除。

プログラム側での対応としてファイルを読み込む時にエンコーディングをutf-8-sigで読み込み(回答文の方法)


以下はpython 3環境用の回答です。

f = open('test.txt', 'r')

f = open('test.txt', 'r', encoding='utf-8-sig') に変更してみてください。

投稿2017/11/11 18:01

編集2017/11/11 18:47
umyu

総合スコア5846

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

python

1print i, len(i), repr(i)

で、データが全部見えるはずです。

投稿2017/11/12 12:27

YouheiSakurai

総合スコア6142

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問