AssertionErrorについて（再現実験）

Question

Peeking into the futureの再現実験

Githubに公開されているPeeking into the futureの論文のコード（next-prediction）を実行してみたところ，AssertErrorが発生し，エラー文に何も出ておらず，解決への糸口が見つからないため，手助けいただきたいです．
Github 再現実験手順URL:https://github.com/JunweiLiang/next-prediction/blob/master/code/prepare_data/README.md
対象のコードURL：https://github.com/JunweiLiang/next-prediction/blob/master/code/prepare_data/step4_generate_traj.py

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "step4_generate_traj.py", line 206, in <module>
    assert frame_lst
AssertionError

該当のソースコード

# coding=utf-8
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

"""Generate trajectory files and scene, person box, other box, activity files."""

# pylint: disable=g-importing-member
# pylint: disable=g-bad-import-order
import argparse
import os
import operator
import numpy as np
import cPickle as pickle
from tqdm import tqdm
from glob import glob
from utils import activity2id
from utils import actev_scene2imgsize
from utils import get_scene


parser = argparse.ArgumentParser()
parser.add_argument("npzpath")
parser.add_argument("split_path")
parser.add_argument("out_path")
parser.add_argument("--drop_frame", default=1, type=int,
                    help="drop frame to match different fps, assuming "
                         "the virat fps is 30fps, so to get 2.5fps, "
                         "need to drop 12 frames every time")

parser.add_argument("--scene_feat_path",
                    help="the scene segmentation output path,"
                         "under it should be frame_name.npy")

# the following are the output paths
parser.add_argument("--scene_map_path",
                    help="frameidx mapping to actual scene feature file output")

parser.add_argument("--person_box_path",
                    help="Person box output")

parser.add_argument("--other_box_path",
                    help="Other object box output")

parser.add_argument("--activity_path",
                    help="activity annotation output")

# for ETH/UCY you need to write your own video size mapping
# In the PeekingFuture paper we resize ETH/UCY to 720x576 to extract features
scene2imgsize = actev_scene2imgsize

actid2name = {activity2id[n]: n for n in activity2id}


def resize_xy(xy, vname, resize_w, resize_h):
  """Resize the xy coordinates."""
  x_, y_ = xy
  w, h = scene2imgsize[get_scene(vname)]
  diff_w = resize_w / float(w)
  diff_h = resize_h / float(h)
  x_ *= diff_w
  y_ *= diff_h

  # normalize coordinates?
  return [x_, y_]


def resize_box(box, vname, resize_w, resize_h):
  """Resize the box coordintates."""
  x1, y1, x2, y2 = [float(o) for o in box]

  w, h = scene2imgsize[get_scene(vname)]
  diff_w = resize_w / float(w)
  diff_h = resize_h / float(h)

  x1 *= diff_w
  x2 *= diff_w
  y1 *= diff_h
  y2 *= diff_h
  return [x1, y1, x2, y2]


# frame_lst is [(videoname,frameidx)], assume sorted by the frameidx
def get_nearest(frame_lst_, frame_idx):
  """Since we don't run scene seg on every frame, we want to find the nearest one."""
  frame_idxs = np.array([i_ for _, i_ in frame_lst_])
  cloests_idx = (np.abs(frame_idxs - frame_idx)).argmin()
  vname, closest_frame_idx = frame_lst_[cloests_idx]
  return vname, closest_frame_idx, cloests_idx


def get_act_list(act_data, frameidx, bgid):
  """Given a frameidx, get this person' activities."""

  # act_data is a list of sorted (start,end,actclassid)
  # return current act list,
  current_act_list = [(actid, e - frameidx) for s, e, actid in act_data
                      if (frameidx >= s) and (frameidx <= e)]
  current_act_list.sort(key=operator.itemgetter(1))  # dist to current act's end
  current_actid_list_ = [actid for actid, _ in current_act_list]
  current_dist_list_ = [dist for _, dist in current_act_list]

  if not current_act_list:
    current_actid_list_, current_dist_list_ = [bgid], [-1]

  future_act_list = [(actid, s - frameidx) for s, e, actid in act_data
                     if frameidx < s]
  future_act_list.sort(key=operator.itemgetter(1))

  if not future_act_list:
    return (current_actid_list_, current_dist_list_, [bgid], [-1])

  # only the nearest future activity?
  # smallest_dist = future_act_list[0][1]
  # future_act_list = [(actid,dist) for actid, dist in future_act_list
  #                     if dist == smallest_dist]

  future_actid_list_ = [actid for actid, _ in future_act_list]
  future_dist_list_ = [dist for _, dist in future_act_list]

  return (current_actid_list_, current_dist_list_,
          future_actid_list_, future_dist_list_)


def check_traj(newdata_, vname):
  """Check and filter data."""
  checkdata = np.array(newdata_, dtype="float")
  frames_ = np.unique(checkdata[:, 0]).tolist()
  checked_data_ = []
  for frame_ in frames_:
    # all personid in this frame
    this_frame_data = checkdata[frame_ == checkdata[:, 0], :]  # [K,4]
    ped_ids = this_frame_data[:, 1]
    unique_ped_ids, unique_idxs = np.unique(ped_ids, return_index=True)
    if len(ped_ids) != len(unique_ped_ids):
      tqdm.write("\twarning, %s frame %s has duplicate person annotation person"
                 " ids: %s/%s, removed the duplicate ones"
                 % (vname, frame_, len(unique_ped_ids), len(ped_ids)))

      this_frame_data = this_frame_data[unique_idxs]

    for f_, p_, x_, y_ in this_frame_data:
      checked_data_.append((f_, p_, x_, y_))
  checked_data_.sort(key=operator.itemgetter(0))
  return checked_data_


if __name__ == "__main__":
  args = parser.parse_args()

  # Hard coded for ActEV experiment.
  # :P
  args.resize = True
  args.resize_h = 1080
  args.resize_w = 1920

  filelst = {
      "train": [os.path.splitext(os.path.basename(line.strip()))[0]
                for line in open(os.path.join(args.split_path,
                                              "train.lst"), "r").readlines()],
      "val": [os.path.splitext(os.path.basename(line.strip()))[0]
              for line in open(os.path.join(args.split_path,
                                            "val.lst"), "r").readlines()],
      "test": [os.path.splitext(os.path.basename(line.strip()))[0]
               for line in open(os.path.join(args.split_path,
                                             "test.lst"), "r").readlines()],
  }

  for split in tqdm(filelst, ascii=True):
    out_path = os.path.join(args.out_path, split)

    if not os.path.exists(out_path):
      os.makedirs(out_path)

    if not os.path.exists(os.path.join(args.person_box_path, split)):
      os.makedirs(os.path.join(args.person_box_path, split))

    if not os.path.exists(os.path.join(args.other_box_path, split)):
      os.makedirs(os.path.join(args.other_box_path, split))

    if not os.path.exists(os.path.join(args.activity_path, split)):
      os.makedirs(os.path.join(args.activity_path, split))

    scene_map_path = os.path.join(args.scene_map_path, split)
    if not os.path.exists(scene_map_path):
      os.makedirs(scene_map_path)

    for videoname in tqdm(filelst[split]):
      npzfile = os.path.join(args.npzpath, "%s.npz" % videoname)

      data = np.load(npzfile, allow_pickle=True)

      # each frame's all boxes, for getting other boxes
      frameidx2boxes = data["frameidx2boxes"]

      # personId -> all related activity with timespan, sorted by timespan start
      # (start, end, act_classid)
      personid2acts = data["personid2acts"]

      # load all the frames for this video first
      frame_lst = glob(os.path.join(args.scene_feat_path,
                                    "%s_F_*.npy"%videoname))
      assert frame_lst
      frame_lst = [(os.path.basename(frame),
                    int(os.path.basename(frame).split(".")[0].split("_F_")[-1]))
                   for frame in frame_lst]

・・・

試したこと

assertの前後にprint文を追加して，どうなっているか確認したところ，平常通りでした．

補足情報（FW/ツールのバージョンなど）

GPU使用のため，CUDAとTensorflowのバージョンは合わせてあります．Tensorflow1.10です．

Comments

[hayataka2049]

示されているコードは直接は関係ないものなので、エラー箇所があるコードも載せてください。また、リポジトリへのリンクもお願いします。

[ikayakioishii]

すみません，載せるコードを間違えました，，
https://github.com/JunweiLiang/next-prediction/blob/master/code/prepare_data/step4_generate_traj.py
こちらがコードになります．

[hayataka2049]

URLも質問の方に掲載してください。

[ikayakioishii]

了解です．

Answer 1

assert文は基本的に与えた式が真でなければ例外を投げます。

>>> assert True
>>> assert False
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AssertionError

7. 単純文 (simple statement) — Python 3.8.2 ドキュメント

glob.globはリストを返します。Pythonでは空のリストは偽です。

つまりframe_lstが空リストになっているのが問題ということになります。何らかのファイルが存在していることが想定されているのでしょう。

動作を追うと--scene_feat_pathオプションとかが絡んでくるみたいなので、この辺でなにかまずいことになっていないか確認してください（ファイルがちゃんとあるかとか、指定をミスってないかとか）。

Comments

[ikayakioishii]

printで中身を確認しましたが，--scene_feat_pathには中身が入っており，ファイルが足りてないということはなさそうです．

[hayataka2049]

os.path.join(args.scene_feat_path,
"%s_F_*.npy"%videoname)
で得られているファイルパスはどんなものなのか。
そしてそのフォーマットに合うファイルがちゃんと存在しているかを確認してみてください。

[ikayakioishii]

確認したところ，ビデオファイルの途中までは処理ができていますが，あるビデオから処理ができていないことが判明しました．
この場合は，対象のファイルを消してあげてもう一度実行手順を追ってみたほうが良いでしょうか．