テキストを一行ずつ読み込みたい

Question

下記のようなデータを一行ずつ読み込みたいと考えています。
そこで、コードの９行目、

poems = f.read().splitlines()

を

poems = f.readlines().splitlines()

に変えると、

Traceback (most recent call last):

File "/home/yudai/Desktop/keras_AE.py", line 9, in <module>
poems = f.readlines().splitlines()
AttributeError: 'list' object has no attribute 'splitlines'

と出ます。

朝霧 の 中 に 九段 の ともし 哉
あたたか な 雨 が 降る なり 枯葎
菜の花 や は つと 明るき 町 は づれ
秋風 や 伊予 へ 流る る 汐 の 音
長閑 さ や 障子 の 穴 に 海 見え て

# coding:utf-8
import numpy as np
import codecs
from keras.layers import Activation, Dense, Input
from keras.models import Model

#データの読み込み
with open(r'/home/yudai/Desktop/poem.txt', encoding='utf-8') as f:
    poems = f.read().splitlines()
text = poems[0]  # 1個目のデータ
print(text)
# コーパスの長さ
print('corpus length:', len(text))
# 文字数を数えるため、textをソート
chars = sorted(list(set(text)))
# 全文字数の表示
print('total chars:', len(chars))
# 文字をID変換
char_indices = dict((c, i) for i, c in enumerate(chars))
# IDから文字へ変換
indices_char = dict((i, c) for i, c in enumerate(chars))
#テキストを17文字ずつ読み込む
maxlen = 1
#サンプルバッチ数
step = 1
sentences = []
next_chars = []
for i in range(0, len(text) - maxlen, step):
    sentences.append(text[i: i + maxlen])
    next_chars.append(text[i + maxlen])
#学習する文字数を表示
print('Sequences:', sentences)
print('next_chars:', next_chars)
#ベクトル化する
print('Vectorization...')
x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)
y = np.zeros((len(sentences), len(chars)), dtype=np.bool)
for i, sentence in enumerate(sentences):
    for t, char in enumerate(sentence):
        x[i, t, char_indices[char]] = 1
    y[i, char_indices[next_chars[i]]] = 1
#モデルを構築する工程に入る
print('Build model...')
#encoderの次元
encoding_dim = 128
#入力用の変数
input_word = Input(shape=(maxlen, len(chars)))
#入力された語がencodeされたものを格納する
encoded = Dense(128, activation='relu')(input_word)
encoded = Dense(64, activation='relu')(encoded)
encoded = Dense(32, activation='relu')(encoded)
#潜在変数（実質的な主成分分析）
latent = Dense(8, activation='relu')(encoded)
#encodeされたデータを再構成
decoded = Dense(32, activation='relu')(latent)
decoded = Dense(64, activation='relu')(decoded)
decoded = Dense(12, activation='relu')(encoded)
ae = Model(input=input_word, output=decoded)
# #Adamで最適化、loss関数をcategorical_crossentropy
ae.compile(optimizer='Adam', loss='categorical_crossentropy')
ae.summary()

print(x.shape)
# #autoencoderの実行
ae.fit(x, x,
       epochs=500,
       batch_size=256,
       shuffle=False)

#モデルの構造を保存
model_json = ae.to_json()
with open('keras_AE.json', 'w') as json_file:
    json_file.write(model_json)
#学習済みモデルの重みを保存
ae.save_weights('AE.h5')

Comments

[y_waiwai]

で、しつもんはなんでしょうか。

[yep]

コードを一行ずつ読み込むためには、どうすればよいでしょうか？

Answer 1

１行づつ読むなら、readline (readlinesではない）を使えばどうでしょうか

---

といいながらコピペ可能バージョン

with open(r'/home/yudai/poem.txt', encoding='utf-8') as f:
  poems = f.readline()
  while poems:
    print (poems)
    poems = f.readline()

Comments

[yep]

一文字しか読めませんでした。

[y_waiwai]

それは使い方が間違ってます
「python readline」でぐぐってみましょう。使い方が出てきます

[yep]

with open(r'/home/yudai/poem.txt', encoding='utf-8') as f:
poems = f.readline()
while poems:
print (poems)

一つの行が無限に出力されました。

[y_waiwai]

readline 関数はファイルから１行だけ、を読み出す関数です
次の行を読むなら、繰り返しreadlneを実行する必要があります

poems = f.readline()
while poems:
　print (poems)
　poems = f.readline()

[yep]

File "/home/yudai/Desktop/keras_AE.py", line 11
　print(poems)
^
SyntaxError: invalid character in identifier
と出力されます。

[y_waiwai]

コピペで済まさないで、手で打ってください
全角スペースが入ってるのでコピペではエラーでます

提示したコードを理解して利用しましょう

[yep]

確かに一行ずつ読めました。手で打ちました。ありがとうございました。

Answer 2

求める処理に合っているかちゃんと確認できていませんが
以下にて行毎に空白で区切られた単語のリストを取得できます。

with open( 'poem.txt', encoding='utf-8') as f:
    poems = f.readlines()
    print( poems) # ['朝霧 の 中 に 九段 の ともし 哉\n', 'あたたか な 雨 が 降る なり 枯葎\n', '菜の花 や は つと 明るき 町 は づれ\n', '秋風 や 伊予 へ 流る る 汐 の 音\n', '長閑 さ や 障子 の 穴 に 海 見え て\n']
    for p in poems:
        s = p.rstrip() # 改行を除去
        s = s.split(' ')
        print( s) # ['朝霧', 'の', '中', 'に', '九段', 'の', 'ともし', '哉']

Comments

[yep]

なぜ、print( s)のように前に空間を置くのですか？

[can110]

とくにい
みはあり
ませんじ
ぶんある
いはにん
げんにと
ってのみ
やすさで
すコンピ
ュータに
とっては
くうはく
のうむは
かんけい
ありませ
ん

[yep]

kasi
koma
rima
sita

[can110]

Таныг ойлгож байгаад би баяртай байна.

Answer 3

f.readlines()の時点で一行ずつ分割されたlistになっています。文字列に対するメソッドのsplitlines()は呼べません。そのままpoems = f.readlines()とすれば良いです。

Comments

[yep]

ValueError: Error when checking target: expected dense_7 to have shape (2, 12) but got array with shape (2, 13)やはり、エラーが出ます。