[Python]apache_logの例外対処について

Question

参考HP

こちらのソースコードを参考にapacheのlogをDBに保存しようとしたのですが、ログでbytesの部分が"-"になっている時に下記のエラーが出てきてしまいます。どうしたらいいですか？

ValueError: invalid literal for int() with base 10: '-'

#coding:utf8
                                                                                                                              
from sqlobject import *
import sys,csv, sqlite3, datetime

logname = "short_access_log"

class ApacheDialect(csv.Dialect):
    delimiter = " "
    doublequote = True
    lineterminator="\r\n"
    quotechar='"'
    quoting=0
    skipinitialspace=False

class ApacheLog(SQLObject):
    ip        = StringCol()
    remotelog = StringCol()
    remoteuser= StringCol()
    time      = DateTimeCol()
    request   = StringCol()
    status    = IntCol()
    bytes     = IntCol()
    referer   = StringCol()
    ua        = StringCol()

    def _set_time(self,timestr):
        self._SO_set_time( datetime.datetime.strptime(timestr,"[%d/%b/%Y:%H:%M:%S") )

if __name__ == '__main__':

    sqlhub.processConnection = connectionForURI('sqlite:///tmp/abc.db')
    ApacheLog.createTable(ifNotExists=True)

    csv.register_dialect("apache",ApacheDialect)
    reader = csv.reader(open(logname),dialect="apache")

    for r in reader:
        ApacheLog(
            ip        = r[0],
            remotelog = r[1],
            remoteuser= r[2],
            time      = r[3],
            #tz      = r[4],
            request   = r[5],
            status    = int(r[6]),
            bytes     = int(r[7]),
            referer   = r[8],
            ua        = r[9]
       )

この場合のエラーメッセージは

Traceback (most recent call last):

File "log2db.py", line 46, in <module>
bytes = int(r[7]),
ValueError: invalid literal for int() with base 10: '-'

です。
参考HP変更しました。

Answer 1

Pythonには詳しくないですが、そこまで分かっていれば、
bytesがハイフンの場合にどうするかを決めて、
対応するコードを追加すれば良いのではと思います。
例えば、以下の内容です。

1. bytesを0にするのであれば、if文で分岐するコードを追加する。
2. その行を読み飛ばすのであれば、try文で例外処理するコードを追加する。

追記

2.例外処理の例

#coding:utf8
L = [ '1', '-', '3' ]
for x in L :
    try:
        print int(x)
    except ValueError, inst :
        print inst

2.例外処理の、実際のコードの例

    for r in reader:
      try:
        ApacheLog(
            ip        = r[0],
            remotelog = r[1],
            remoteuser= r[2],
            time      = r[3],
            #tz      = r[4],
            request   = r[5],
            status    = int(r[6]),
            bytes     = int(r[7]),
            referer   = r[8],
            ua        = r[9]
         )
      except ValueError, inst :
        print inst

Comments

[Alan]

回答有難うございます。自分も例外処理で試していたのですがやり方が違うのか上手くいかなくて悩んでいました。具体的にどうしたらいいか知っていたら教えて欲しいです。

[eripong]

ちょっとそちらで試されているコードを実行できる環境にいないのですが、
回答に追記した様なイメージでできないでしょうか？

今、そちらで動かない状態のコードをここに貼り付けてもらえれば、
どこが間違っているか分かるかもしれません。

[Alan]

すみません、遅くなりました。現在のコードとエラーメッセージ・参考HPを更新しました。

[eripong]

更新してもらったコードでは、例外処理しようとしている部分が分かりませんが、
こちらで考えている修正例を追記しました。
実行した訳ではないので、インデントがおかしいかもしれません。

Answer 2

別解ですが、ApacheのログをありのままにDBに格納したいのであれば、
無理にintに変換しなくともstrで良いのでは無いでしょうか？
※もしint変換しなくてはならない理由があるのであれば、変換すべきかと思います。

1. bytes=の所をStringCol()に変えて

class ApacheLog(SQLObject):
    ip        = StringCol()
    remotelog = StringCol()
    remoteuser= StringCol()
    time      = DateTimeCol()
    request   = StringCol()
    status    = IntCol()
    bytes     = StringCol()
    referer   = StringCol()
    ua        = StringCol()

1. int(r[7])の所を単にr[7]に変える

    for r in reader:
        ApacheLog(
            ip        = r[0],
            remotelog = r[1],
            remoteuser= r[2],
            time      = r[3],
            #tz      = r[4],
            request   = r[5],
            status    = int(r[6]),
            bytes     = r[7],
            referer   = r[8],
            ua        = r[9]
       )

後は、bytesに対応するDBカラムもVARCHAR型等に変換すれば良いかと思います。