字句解析（パーサー）の作り方

#はじめに
今、機械学習ハードウェアの実行サイクル数見積もりのスクリプトをPythonで開発しています。手始めとして逐次実行ハードウェアモデルのマイクロプロセッサでの実行サイクル数の見積もりをCNNモデルに対して行う見積もりスクリプトを開発ています。

##1.ファイルの読み込みとパース
####1.1.ファイルの読み込み
それで、設定ファイルを読み込んでその設定値に合わせて計算見積もりするスクリプトなのですが、
ソースファイルは普通に

def read_src_file(src_file_name):
f = open(src_file_name, 'r')
f_lines = f.readlines()
f.close()
return f_lines

としてます。

####1.2.パーサー
パースは一行をトークンに切り分けてそれをforループで逐次字句解析するようにすることを目標としています。現在のコードは下記のような形です。

for line in f_lines:
    tokens = line.split()
    tokens = tokens.strip()
    ....
    for token in tokens:

f_linesに読み込んだデータがあり、はじめのfor文で一行づつ処理するために一行を取り、次のfor文でトークンを対象に字句解析に入ります。"tokens = tokens.strip()"のところが間違っていると思っているのですが、正しいコードが分かっていません。実際実行させると、トークンに切り分けられておらずtokensから一文字づつtokenに割り当てられているようです。

###2.字句解析について：回答のお願い
まず、トークンに正しく切り分ける方法を教えていただけないでしょうか。
サイトの紹介でも構いません。
何卒よろしくお願いいたします。