テキストファイルから読み込みたい

Question

#解決・実現したいこと
青空文庫の「吾輩は猫である」の形態素解析を行うプログラムを作っているのですが、現在はデータをURLから読み込んでいますが、これをテキストファイルから読み込むようにしたいのですがどうすればいいですか？

#該当のソースコード

import urllib.request

from janome.analyzer import Analyzer
from janome.charfilter import *
from janome.tokenizer import Tokenizer


class MainTextCharFilter(CharFilter):

    def __init__(self, start, end):
        self.start = start
        self.end = end

    def apply(self, text):
        return text.split(self.start)[1].split(self.end)[0]

# 夏目漱石
# 吾輩は猫である
url = 'http://www.aozora.gr.jp/cards/000148/files/789_14547.html'

html = ''

with urllib.request.urlopen(url) as response:
    html = response.read().decode('shift_jis')


char_filters = [UnicodeNormalizeCharFilter(), 
                MainTextCharFilter('<div class="main_text">', '<div class="bibliographical_information">'), 
                RegexReplaceCharFilter('<rp>(.*?)</rp>', ''), 
                RegexReplaceCharFilter('<.*?>', '')] 

tokenizer = Tokenizer()

analyzer = Analyzer(char_filters, tokenizer)

for token in analyzer.analyze(html):
    print(token)

#実行結果の一部

吾輩	名詞,代名詞,一般,*,*,*,吾輩,ワガハイ,ワガハイ
は	助詞,係助詞,*,*,*,*,は,ハ,ワ
猫	名詞,一般,*,*,*,*,猫,ネコ,ネコ
で	助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ
ある	助動詞,*,*,*,五段・ラ行アル,基本形,ある,アル,アル
。	記号,句点,*,*,*,*,。,。,。
名前	名詞,一般,*,*,*,*,名前,ナマエ,ナマエ
は	助詞,係助詞,*,*,*,*,は,ハ,ワ
まだ	副詞,助詞類接続,*,*,*,*,まだ,マダ,マダ
無い	形容詞,自立,*,*,形容詞・アウオ段,基本形,無い,ナイ,ナイ
。	記号,句点,*,*,*,*,。,。,。

#ソースコードに読み込むファイルについて（ファイル名:wagahai.txt）
上のプログラムの変数urlに代入されているURLの文章を全て選択してメモ帳にコピペしたものを使います。

#試したこと
以下のように書き換えてみましたが、エラーが出ました。

import urllib.request

from janome.analyzer import Analyzer
from janome.charfilter import *
from janome.tokenizer import Tokenizer


class MainTextCharFilter(CharFilter):

    def __init__(self, start, end):
        self.start = start
        self.end = end

    def apply(self, text):
        return text.split(self.start)[1].split(self.end)[0]

# 夏目漱石
# 吾輩は猫である

path='wagahai.txt'
f=open(path)

html = f.read().decode('shift_jis')

char_filters = [UnicodeNormalizeCharFilter(), 
                MainTextCharFilter('<div class="main_text">', '<div class="bibliographical_information">'), 
                RegexReplaceCharFilter('<rp>(.*?)</rp>', ''), 
                RegexReplaceCharFilter('<.*?>', '')] 

tokenizer = Tokenizer()

analyzer = Analyzer(char_filters, tokenizer)

for token in analyzer.analyze(html):
    print(token)

f.close

#エラーメッセージ

Traceback (most recent call last):
  File "ディレクトリ名", line 23, in <module>
    html = f.read().decode('shift_jis')
AttributeError: 'str' object has no attribute 'decode'

,

Answer 1

readした時点でテキストとして読み込まれるので、decodeしなくて良いのです。
必要ならばopenする際にキーワード引数で指定します。

---

次のように組めば後々楽です。

if ローカルにファイルが有る:
    html = ローカルから読み取る
else:
    html = リクエストして受け取る
    ローカルに保存

ファイル名もいちいち決めるのは面倒なので、URLから適当に生成してやった方が良いです。

Comments

[退会済みユーザー]

ご回答ありがとうございます。ちなみに今回テキストファイルから読み込むようにした理由は、前回の質問（https://teratail.com/questions/198720）に、「とりあえず、毎回ダウンロードするのをやめてローカルに保存したテキストファイルから読み込むようにする。」という回答があったからです。ソースコードは前回と若干違いますが、やり方は同じだと思うのでソースコードを短くしました。

[LouiS0616]

初回だけリクエストしてあとはローカルに置いておいた方が良いです。
これは『毎回ダウンロードするのをやめてローカルに保存したテキストファイルから読み込むようにする』という方針と何ら矛盾ありません。

あるいはテキストをダウンロードするだけのコードを別に立てるのもアリでしょう。Don't Repeat Yourself.