Pythonでバイナリファイル(pcap)をパースしたい

Question

前提・実現したいこと

• pcapファイルをPythonのctypesを用いてパースしたいです．
• ファイル構造なんかのお勉強，CTFの練習なので，あまり高等なライブラリは使いたくないです
• Headerの内容によって，含まれるパケットが変わってしまう，さらにそれぞれのパケットのサイズも異なっているpcapファイルはどの様にパースしていくものなんでしょうか？
• pcapのヘッダの情報はtcpdumpのmanpageを参考にしました．

つまったところ

方針としては，PcapのHeaderにあたる冒頭の24バイトをまずパースして，Snapshot lengthをとりだして，それを元にして，それをSnapshotをパースするクラスに食わせようかと思っていたのですが，
そうすると，さらにパケットヘッダをパースして，それぞれのパケットの長さを取得して...という処理を順番にパケットに対してしなければいけません
これはなんとなく煩雑というか，力技っぽく見えてしまうのですが，もうすこしスマートにはいかないものでしょうか？
決してめんどくさいという意味ではなく，より良い方法があれば教えていただきたいです．

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

from ctypes import *


class Pcap:
    def __init__(self, file_name):
        f = open(file_name,'rb')
        header = PcapHeader()
        f.readinto(header)
        snapshot_length = header.snapshot_length
        # ???????

class PcapHeader(Structure):
    """
    pcap header size : 24Bytes
    """
    __fields__ = (
        ('magic_number', c_uint32),
        ('major_version', c_uint16),
        ('minor_version', c_uint16),
        ('timezone_offset', c_int32),
        ('timestamp_accuracy', c_uint32),
        ('snapshot_length', c_uint32),
        ('link-layer_header_type', c_uint32)
    )


class PcapSnapshot(Structure):
    __fields__ = (
        # ??????????
    )

Answer 1

バイナリのパースはctypesよりもstructの方をよく見かける気がします。

私はこう書きました。（バイトオーダーは確信がなかったので未指定にしています。）

あと処理してて思ったのはsnapshot_lengthではなくuntruncated_lengthでデータを拾えば良いような気がしました。（間違えているかもしれませんが。）

from collections import namedtuple
from struct import error as StructError
from struct import unpack


PerFileHeader = namedtuple("PerFileHeader",
                           "magic_number major_version minor_version "
                           "timezone_offset timestamp_accuracy "
                           "snapshot_length layer_header_type")
PerPacketHeader = namedtuple("PerPacketHeader",
                             "seconds microseconds_or_nanoseconds length "
                             "untruncated_length")


def parse(pcapfile):
    with open(pcapfile, "rb") as fp:
        yield PerFileHeader(*unpack("IHHIIII", fp.read(24)))
        while True:
            try:
                h = PerPacketHeader(*unpack("IIII", fp.read(16)))
            except StructError:
                break
            else:
                d = fp.read(h.untruncated_length)
                yield (h, d)


if __name__ == '__main__':
    pcap = parse("test.pcap")
    header = next(pcap)
    for header, data in pcap:
        print(header)

Comments

[akamakku]

たしかにdpktでもstructを使っていますね．
単純に"IIII"のような部分が直感的にわかりにくいかなと思ってひとまずctypesを選択したのですが，速度など他の部分で違いは有るんでしょうか
ここで聞くのはおかしい気はしますが,,

>あと処理してて思ったのはsnapshot_lengthではなくuntruncated_lengthでデータを拾えば良いような気がしました。（間違えているかもしれませんが。）
ありがとうございますやってみます

[YouheiSakurai]

ctypesはPythonの層が厚くてそんなに速くないイメージです。一方でstructはPythonの層は薄そうなので速いんじゃないかなぁと予想します。（参考：https://github.com/python/cpython/blob/master/Lib/struct.py）あと、"IIII"の部分はPythonをやってるとそれなりに理にかなって直感的だと感じるようになると思います。単純に速度を追い求めるならfp.read()で一気に全部メモリ上に載せてからmemoryviewで頑張るとか、Pythonの外でパースするとか、他の選択肢もあると思います。そんな状況の中でstructは速さと読みやすさの面で一番いいバランスなのでよく使われているように感じます。

[akamakku]

なるほどです
Python修行がたりないようなので、頑張ります！

Answer 2

dpktというライブラリのソースを見ると、その力技でやってるっぽい気が・・・。最後にイテレータにしているあたりの処理はなにかの参考になるかもしれません。
dpkt/pcap.py at master · kbandla/dpkt

参考：使い方が書いてあるページ
python + dpkt で pcap解析 - 1.読み込みから解析開始まで

Comments

[akamakku]

質問に書いたとおり「高等なライブラリ」は使いたくなかったので、そっちは調べてませんでした。
直接使わなくてもソースを読んでみるっていう使い方もできますね
ありがとうございます！