python ファイル読み込み方法による実行時間の違いについて

Question

やったこと

python でファイルを読み込んで各行を要素に持つリストとして格納したいとき、以下の2つの方法を思いつきました。

• 一行づつ読み込んで、その都度リストに追加する（方法１）
• 全て一気に読み込んで、それを分割してリストとする（方法２）

そこでこの2つの方法について実行時間を比べました。それぞれの実装コードは以下のとおりです。
（方法の説明と実装コードが対応できてない等指摘あればお願いします。）

# 方法1
start = time.time()
review = []
with open("review") as r:
    for line in r:
        review.append(line)
elapsed_time = time.time() - start
print ("elapsed_time:{0}".format(elapsed_time) + "[sec]")

# 方法2
start = time.time()
with open("review") as r:
    review = r.read().split("\n")
elapsed_time = time.time() - start
print ("elapsed_time:{0}".format(elapsed_time) + "[sec]")

その結果

• 方法１：8秒
• 方法２：130秒

という思ったよりも大きな違いになりました。
（使ったファイルサイズは 6,931,166行 13MBです）

質問

なぜこのような結果になったのか全くわかりません。
実行する前はappend()する回数が多いからと方法１のほうが時間がかかるんじゃないかと思っていました。

なので、この理由を説明してもらえると嬉しいです。

また、一般にこのような場合はこっちの方法が良いみたいなものがあれば教えて欲しいです。

追記：再現性について

for i in range(3):
    # 方法1
    start = time.time()
    review = []
    with open("review") as r:
        for line in r:
            review.append(line)
    elapsed_time = time.time() - start
    print ("method1 :{0}".format(elapsed_time) + "[sec]")
    # 方法2
    start = time.time()
    with open("review") as r:
        review = r.read().split("\n")
    elapsed_time = time.time() - start
    print ("method2 :{0}".format(elapsed_time) + "[sec]")
    print("")

結果
method1 :7.316558837890625[sec]
method2 :132.77226877212524[sec]

method1 :7.942023038864136[sec]
method2 :132.67939019203186[sec]

method1 :8.178030967712402[sec]
method2 :134.0433452129364[sec]

Comments

[otn]

たまたまでは？
何度繰り返しても同じような結果ですか？

[goro_gnm]

何回かやってみましたが、同じような感じですね

[takasima20]

実行した「環境」を追記したらなにかわかるかも? (まさかメモリスワップしまくりとか…)

Answer 1

実行のさせ方がおかしいのではないでしょうか？

method1 :3.3414201736450195[sec]
method2 :0.5727050304412842[sec]

method1 :3.1020076274871826[sec]
method2 :0.4042849540710449[sec]

method1 :3.107948064804077[sec]
method2 :0.40332818031311035[sec]

$ python -V
Python 3.6.8
$ wc review
 7000000  7000000 14000000 review