python 3次元見通し判定の実行速度を上げたい

前提・実現したいこと

3次元見通し判定の実行速度を改善したいです．
エリアは250m×250m，建物数は20個を想定しています．
始点から終点までを0.1m間隔の点でプロットし，全ての点が建物の外にあれば見通しが取れるものとしています．
この処理を数万回行いたいと考えているため，速度向上が不可欠です．

可読性の観点からpandasをできる限り使用したいですが，速度向上が第一目的であるためpandasの排除も検討しています．

現在，こちらで思いつく手法は以下のとおりです．

始点と終点の座標から，判定する建物を絞り込む
apply()等を使用してforループを排除
forループからpandasを排除

また，効率の良いアルゴリズムやライブラリ等があれば教えていただきたいです．

該当のソースコード

Python
1from shapely.geometry import Point, Polygon, LineString
2import pandas as pd
3import numpy as np
4
5def line_of_sight(start_point, end_point, structures):
6    '''
7    - input:
8        - start_point: 始点の座標リスト [x, y, z]
9        - end_point: 終点の座標リスト [x, y, z]
10        - structures: 建物リスト
11    - output:
12        - True: 見通しが取れた
13        - False: 見通しが取れなかった
14    
15    structures
16    --------
17               point_id  structure_id           x           y    z
18    0             0             0 -980.984939 -580.704961  6.5
19    1             1             0 -979.955329 -582.529032  6.5
20    2             2             0 -976.339394 -580.704816  6.5
21    3             3             0 -977.369004 -579.004415  6.5
22    4             4             1 -947.360719 -596.409772  6.5
23    ....
24
25    Examples
26    --------
27    start_point = [0, 0, 0]
28    end_point = [100, 0, 0]
29    structures = 'structures.csv'
30    line_of_sight(start_point, end_point, structures)
31    '''
32
33    # csvファイルを読み込んでdataframeに変換
34    structures_df = csv_to_dataframe(structures)
35
36    # 始点と終点を定義
37    vec_a = np.array(start_point)
38    vec_b = np.array(end_point)
39
40    # 距離を計算
41    distance = np.linalg.norm(vec_a - vec_b)
42
43    # 約0.1m間隔で点を打つ
44    interval = 0.1
45    line = int(distance / interval + 1)
46    x_point = np.linspace(start_point[0], end_point[0], line)
47    y_point = np.linspace(start_point[1], end_point[1], line)
48    z_point = np.linspace(start_point[2], end_point[2], line)
49
50    # structure_idでグループ化
51    structures_groupby = structures_df.groupby("structure_id")
52
53    # 判定
54    for i in range(line):
55        for name, group in structures_groupby:
56            ## xy平面で内外判定
57            pll = Point(x_point[i], y_point[i])
58            structure_list = list(zip(list(group['x']), list(group['y'])))
59            if pll.within(Polygon(structure_list)):
60                ## z座標から建物内か判定
61                if z_point[i] <= min(list(group['z'])):
62                    return False
63    return True