【Atcoder】PythonだとACになるがPyPyだとTLEになる

Question

前提・実現したいこと

Atcoder Typical Contest 001 A 深さ優先探索について、
（１）のコードはPython (3.8.2)、PyPy3 (7.3.0)のどちらで提出してもACになりますが、（２）のコードをPyPy3 (7.3.0)で提出すると１、２個のテストケースでTLE、MLEになります。
違いはdfs関数内のif文です。（（２）のコードをご覧になってください）

(1)

import sys
sys.setrecursionlimit(500*500)

h,w = map(int,input().split())
maze = [list(input()) for _ in range(h)]

visited = [[False]*w for _ in range(h)]

for i in range(h):
    for j in range(w):
        if maze[i][j] == "s":
            sx = i
            sy = j
        elif maze[i][j] == "g":
            gx = i
            gy = j


def dfs(x,y):
    if x < 0 or x >= h or y < 0 or y >= w: return
    if  maze[x][y] == "#" or visited[x][y]: return
    visited[x][y] = True
    dfs(x-1,y)
    dfs(x+1,y)
    dfs(x,y+1)
    dfs(x,y-1)

    
dfs(sx,sy)

if visited[gx][gy]:
    print("Yes")
else:
    print("No")
    

###(2)

import sys
sys.setrecursionlimit(500*500)

h,w = map(int,input().split())
maze = [list(input()) for _ in range(h)]

visited = [[False]*w for _ in range(h)]

for i in range(h):
    for j in range(w):
        if maze[i][j] == "s":
            sx = i
            sy = j
        elif maze[i][j] == "g":
            gx = i
            gy = j


def dfs(x,y):
    if x < 0 or x >= h or y < 0 or y >= w: return
    if visited[x][y] or maze[x][y] == "#" : return # orの前後の値を入れ替えた
    visited[x][y] = True
    dfs(x-1,y)
    dfs(x+1,y)
    dfs(x,y+1)
    dfs(x,y-1)

    
dfs(sx,sy)

if visited[gx][gy]:
    print("Yes")
else:
    print("No")
    

試したこと

visited[x][y]を先に判定していることが原因だと思うのですが、それでなぜTLE,MLEになるのかわかりません。

Answer 1

一般論ですが、

Python (3.8.2)と書かれているのは、Cpythonですね。CpythonはソースコードをPythonバイトコードに翻訳して、それをPythonに内蔵されているインタプリタで実行します。
ソースを読んでみると、バイトコードの最適化も可能なように設計された痕跡はありますが、実際には一切最適化は行っていません。

PyPyは実行性能重視で開発されました。そのために、ネイティブコード(機械命令)へのJust In Timeコンパイルを行いますし、コンパイル時の最適化も行います。これらの処理は多くのメモリと多くの時間を使います。

これらの違いにより、以下のことが起こります。

Cpythonでは、素早くバイトコードが生成されますが、最適化されていないバイトコードを実行するために実行速度は遅くなります。
つまり、初期コストは小さいけれども、ランニングコストが大きいという特徴を持ちます。

PyPyでは、コンパイルの部分に時間とメモリを使い、最適化された高速な機械命令を生成します。
つまり、初期コストは大きいけれども、ランニングコストが小さいという特徴を持ちます。

通常の実行では、ライブラリとして実行されたPythonコードは、生成されたコードをファイルに保存しておき、2回目以降は保存済みコードを使います。
従って、PyPyの初期コストはあまり問題になりません。

ところがAtcoderのような環境だと、高速なコードを準備している間に時間やメモリを使いすぎる場合があります。これが時間超過やメモリ超過の原因でしょう。

二つのソースで何が違うのかは調べていませんが、最適化が行いにくいソースだとPyPyのコンパイラが最適化をあきらめるので、そこそこの性能が出た。一方、最適化の行いやすいソースだと、PyPyのコンパイラが「これは高速化できるぞ」と頑張りすぎて、時間超過やメモリ超過が起きているのだろうと考えて良いと思います。

Comments

[loon_]

本質的な回答をありがとうございます
大変勉強になりました