textfileを行毎に読み出しが出来ない

Question

前提・実現したいこと

WEBサイトからダウンロードしたTextfileを一行毎に読み出したいと思いました。実行結果は一文字毎に読み出していいました。
コード中最終的には「ｆ」に代入したつもりです。これをprint(f)でターミナルに出力すると下のように正常に見えます。
N-S E-W Contract N-S E-W MP
B04 B30 5C N 5 400 27
B31 B05 2NT S 5 210 26
B18 B13 4C N 5 150 24.5
A09 A20 3C N 5 150 24.5
B24 B12 4C N 4 130 22
A02 A22 4C N 4 130 22
A07 A15 4C N 4 130 22
A03 A23 3C N 3 110 20
A19 A11 4S E-2 100 19
B07 B32 3S E-1 50 13
A17 A12 3S E-1 50 13
A21 A04 3S E-1 50 13
A24 A01 3S E-1 50 13
B03 B20 3S E-1 50 13
A05 A16 3S E-1 50 13
B23 B06 3S E-1 50 13
B25 B16 3S E-1 50 13
B26 B01 3S E-1 50 13
B09 B22 3S E-1 50 13
A10 A18 3S E-1 50 13
B28 B10 5C N-1 50 7
B19 B15 6C N-2 100 5.5
B17 B11 5Cx N-1 100 5.5
A14 A06 3S E 3 140 2.5
B14 B27 3S E 3 140 2.5
B02 B29 3S E 3 140 2.5
B21 B08 3S E 3 140 2.5
A13 A08 4S E 4 420 0
しかし
for line in f:
print(line)
で行毎に取り出そうとして printした内容は以下、上の行単位出力の最後の行が文字単位で出力されて見える。（され以前は表示範囲を超えているようで見えない。
0
8

4
S

E

4

4
2
0

0

print(type(f)) は <class 'str'> ですが print(hasattr(f, "line"))　を見ると False になっています。
私にはどこで間違っているのか全く解りません。terxt文書のtyoeはstr と思っていましたが間違いなのでしょうか。
■■動作確認時に以下の期待しない動作がありました。

for line in f:で取り込んだ内容が行単位でなく、文字単位で取り込まれている。

該当のソースコード

from typing import Text
import requests
from bs4 import BeautifulSoup as bs4
import dataclasses

with open('tyest.txt', 'w') as f:
    load_url = "https://sendaibc.sakura.ne.jp/traveling/trv_2017aob_1.txt"
    html = requests.get(load_url)
    soup = bs4(html.content,"html.parser")
print(f)
print(type(f))

f = soup.text
    print(type(f))    

print(f)              #これはTextfileとしてターミナルに正常に出力される

for line in f:        #行単位でなく、文字単位にターミナルに表示される
   print(line)        
print(type(f))
print(hasattr(f, "line"))

試したこと

他の行単位出力tン位ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[TakaiY]

回答への質問に、

追加）netをみると
for line in f:
print(line)
でtext文書壱行毎に読み出す書式として記載されています。

とありますが、出展を教えていただけますか、
何を根拠にどのような結果を期待しているのかがわかれば的確な説明ができると思いますので。

[shiraishi_kiich]

https://www.ipentec.com/document/python-read-textfile-line-by-line
より読みました。感違いがあったのでしょうか。」

Answer 1

質問に回答いただいたので、説明してみます。
基本的には他の方の回答で説明されていることと同じ内容です。

質問の回答にあるサイトの説明は、ファイルを開いたときのものですね。
ファイルを開いたときに返るのは「ファイルオブジェクト」です。
質問のコードにもいくつか出てくるtype()関数で調べればそれがstrでないことはわかると思います。

ファイルオブジェクトはリスト「のように」扱われると、そのファイルの内容を1行ずつ出すようにできています(__next__メソッドの返りが1行分の文字列ということ)。

なので、以下のコードは内容を1行ずつ出力します。

for line in text_file:
  print ("「" + line.strip() +"」")

---

質問の内容の方ですが、理解が間違えています。

with open('tyest.txt', 'w') as f:
    load_url = "https://sendaibc.sakura.ne.jp/traveling/trv_2017aob_1.txt"
    html = requests.get(load_url)
    soup = bs4(html.content,"html.parser")

この部分を見ると、たしかにtyest.txtというファイルを開いてオブジェクトを作り、fでアクセスできるようにしていますが、そのfを使っていません。
このwithブロックを抜けると、fは無効になってしまいます。
ということで、ここにあるwithブロックは、withブロックとしての意味がありません。

soup変数の内容はここではfには関係ありませんが、bsにより取得されたURLの内容が入っています。

f = soup.text

print(f)              #これはTextfileとしてターミナルに正常に出力される

for line in f:        #行単位でなく、文字単位にターミナルに表示される
   print(line)        

この部分の接頭で、ｆにはsoup.textの返り値 = urlで指定されたものの「内容=文字列」が入ります。

文字列は「リストのように」扱われると、含まれている文字を1文字ずつ出すようになっているので、質問のような動作になります。

---

URLの内容を取得してきて、1行ごとに処理したいのであれば、だいたいこんな感じにすればいいでしょう。 with文は使いません。
(他の方の回答と同じですが)

load_url = "https://sendaibc.sakura.ne.jp/traveling/trv_2017aob_1.txt"
html = requests.get(load_url)
soup = bs4(html.content,"html.parser")
f = soup.text

for line in f.splitlines():       
    print(line)        

文字列を行に分割するのにsplitlines()を使ってみました。

Comments

[shiraishi_kiich]

ありがとうございました。回答の通りに修正して期待通りに動作しました。ちなみに全てwith文の中で処理すればよかったのでしょうか。Taskaiyさんのように丁寧に説明して頂かないと理解できないレベルです。
今後はlineを使用してtextdataを加工していきますがその段階でも判らない事がまだまだありそうです。
よろしくお願いいたします。

[TakaiY]

「全てwith文の中で処理すればよかったのでしょうか」
回答に書いたように、違います。

with分は、ファイル(など)を開いてその内容を読んだり書き込んだりするために使います。
beautifulsoupを使ってweb上のものを扱うときには使いません。

ファイル(など)の(など)にWeb上の物など他のものも入れることもできますが、それについてはもっと理解してから取り組むのがいいでしょう。

Answer 2

terxt文書のtyoeはstr

その理解で正しいです。提示コードでのfは改行文字が含まれた文字列です。
よってfをそのままprintすると、見た目は自然なカタチで見えます。

ただしstrをforで走査すると、各要素は文字となります。
よってそれらをprintすると１文字ずつ出力されます。

１行毎に処理したいのであればstrであるfを改行でsplitすればよいです。

なお、提示コードではwith で開いたファイルオブジェクトをfとしていますが、実際には使われていません。
取得した.txtの内容をファイルとして保存したいだけなら単にf.write(soup.text)すればよいです。

text = 'a b\nc d\n'
print(f'[{text}]')
#[a b
#c d
#]

for c in text:
    print(f'[{c}]')
#[a]
#[ ]
#[b]
#[
#]
#[c]
#[ ]
#[d]
#[
#]

lines = text.split('\n')
for line in lines:
    print(f'[{line}]')
#[a b]
#[c d]
#[]

with open('tyest.txt', 'w') as f:
    f.write(text)

Comments

[shiraishi_kiich]

21行にf.write(soup.text)を追加し実行すると
Traceback (most recent call last):
File "c:\Users\shiraishikiichi\pytext\scrap.py", line 21, in <module>
f.write(soup.text)
AttributeError: 'str' object has no attribute 'write'
とエラーメッセージがでます。

[can110]

ファイルを開いている間、つまりwith open(～:のブロック内で実行しないといけません。

Answer 3

1行毎に、という事であれば以下の様にしてみてはどうでしょうか。

from typing import Text
import requests
from bs4 import BeautifulSoup as bs4
import dataclasses

with open('tyest.txt', 'w') as f:
    load_url = "https://sendaibc.sakura.ne.jp/traveling/trv_2017aob_1.txt"
    html = requests.get(load_url)
    soup = bs4(html.content,"html.parser")
    f.write(soup.text)

with open('tyest.txt', 'r') as f:
    for line in f:
        print(line.strip())

Comments

[shiraishi_kiich]

回答のようにすると下記エラーが表示されます。f.write(soup.text)は１０行に追加。
エラーの一行目と、最後の行はどこで出ているのか判りません。
Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.
Traceback (most recent call last):
File "c:\Users\shiraishikiichi\pytext\scrap.py", line 10, in <module>
f.write(soup.text)
UnicodeEncodeError: 'cp932' codec can't encode character '\ufffd' in position 0: illegal multibyte sequence

[melian]

with open('tyest.txt', 'w') as f:
を
with open('tyest.txt', 'w', encoding='utf-8') as f:
に変更するとどうなるでしょうか？

Answer 4

for line in f:        #行単位でなく、文字単位にターミナルに表示される
   print(line)        

ではなく、

print(f)        

です。

for line in f:はfという文字列の各文字に対して処理を行うことになり、lineには文字一個が入ります。

Comments

[shiraishi_kiich]

print(f)ですと、ｆ全体が表示されます。

[shiraishi_kiich]

追加）netをみると
for line in f:
print(line)
でtext文書壱行毎に読み出す書式として記載されています。

[ppaul]

そうですね。読み間違えていました。