urllib,BeautifulSoup4を使ったweb情報の取得

Question

###やりたいこと
urllibとBeautifulSoup4に詳しい方に質問です。
複数のテキストファイルからＬＤＡモデル作成するプログラムを実装しています。
実装中のプログラムではテキストファイルをまとめておいたディレクトリにアクセスし、
その中の.txtファイルを入力としているのですが、
urllib,BeautifulSoup4を使って
青空文庫からテキストファイルと
そのテキストファイルのカテゴリ（サイト内の分野別リストに記されているもの）
例：「小説.物語」,「評論.エッセイ.随筆」など
の情報を取得し、
[ファイル名,カテゴリ]というようなリストを作成できるように変更したいので、
どのように変更するべきなのかを教えていただきたいです。。
実装中の部分と今後実装する予定の部分が混在していて見辛いかと思いますが
よろしくお願いします。

###実装中のプログラム

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

"""
トピックモデル(入力:青空文庫の.txtファイル)
各ファイルの管理可能
形態素解析対象:名詞(代名詞,非自立名詞,数,固有名詞を除く)
"""
import time
import glob
import urllib.request
from bs4 import BeautifulSoup
import MeCab
from gensim import corpora, models

t0 = time.time()

html = urllib.request.urlopen('http://www.aozora.gr.jp/')
soup = BeautifulSoup(html)

"""
file_list[file_no]:ファイル番号file_noのファイル名
"""
file_list = glob.glob('novel_set/*.txt')

#形態素解析(文字列を改行位置で区切って分割）
mecab = MeCab.Tagger ("-Ochasen")

texts = []
for file in file_list:
    f = open(file, "r",encoding = "utf-8")
    text = f.read()
    f.close()
    chunks = mecab.parse(text).splitlines()

    #絞り込み
    sels = []
    for chunk in chunks:
        cols = chunk.split('\t')
        if len(cols) >= 4:
            parts = cols[3].split('-')
            #指定した品詞で始まっている場合　→　true
            if parts[0].startswith('名詞'):
                #代名詞,非自立名詞,固有名詞,数を含めない
                if parts[1] in ['代名詞','非自立','固有名詞','数']:
                    continue
                #形態素を追加
                #sels:形態素(原形)のみの行列
                sels.append(cols[2])
    texts.append(sels)

dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]

t1 = time.time()

#トピック数
num_topics = 10

#LDAモデルに投入
lda = models.LdaModel(corpus = corpus, id2word = dictionary,num_topics = num_topics)

t2 = time.time()

print(lda)

#各トピックにおける各トークンの出現確率を係数で表示
for topic in lda.show_topics(-1):
    print(topic)

corpus_time = t1 - t0
print('コーパス生成時間：%f秒'%corpus_time)

lda_time = t2 -t1
print('LDAモデル生成時間：%f秒'%lda_time)

total_time = t2 - t0
print('合計時間：%f秒'%total_time)

###補足情報
BeautifulSoup4ではURLを扱えない？らしいので最初に見つけたurllibを使っているのですが、Seleniumなどもあるそうで、どちらをつかうのがよいか（それぞれの特徴など）
もアドバイスをいただければと思います。

Answer 1

青空文庫からテキストファイルと

そのテキストファイルのカテゴリ（サイト内の分野別リストに記されているもの）
例：「小説.物語」,「評論.エッセイ.随筆」など
の情報を取得し、
[ファイル名,カテゴリ]というようなリストを作成できるように変更したいので、

公開中　作家リスト：全てにある公開中　作家別作品一覧拡充版：全て(CSV形式、UTF-8、zip圧縮）を利用するとよいでしょう。
このCSVの図書カードURL列から各テキストへののURLが分かります。
また分類番号列にはNDC 289 402などの値が入っています。これよりカテゴリが分かります。詳細はNDCなどで調べてみてください。
また青空文庫ＦＡＱにも目を通してみてください。

以下、全般的なアドバイスです。
そろそろプログラムの規模が大きくなってきて、処理の見通しが悪くなっていると感じませんか？
そのような場合は、解決したい問題（処理）を分割するとよいです。

• 青空文庫から必要なデータをダウンロードしてローカルに保存する処理
• 保存されたデータからＬＤＡモデルを作成する処理

Comments

[aoisj]

回答ありがとうございます。
紹介していただいたCSVファイルを開いてみたのですが、
分野番号列はおそらくI列だと考えられるのですが、
図書カードURLはそれらしき列がいくつもあったので分かりませんでした。
見たところ、文字コードによる違い？かと思ったのですが詳しく教えていただけますか？

[can110]

青空文庫CSVファイルの構成については以下に情報があります。参照ください。
https://github.com/aozorahack/hackathon2016/blob/master/doc/csv.md