コンパイラのトークンの切り分け

Question

コンパイラのトークンの切り分けについてです．識別子や定数を具体的な名前や数値を区別せず，一括りにして「識別子」「定数」として切り分ける理由を教えてください．
例："123" や "456" といった定数は，定数としては違う値を表現していますが，トークンとしてはどちらも同じ「定数」として切り分けられます．なぜ一括りにするのか教えてください．よろしくお願いします．

Answer 1

コンパイラの処理としては同じだからです。

このあとどう使うかで、トークンを分類します。

Answer 2

識別子や定数を具体的な名前や数値を区別せず，一括りにして「識別子」「定数」として切り分ける

そうとも限りません。ifやforといった予約語については、それがそのままトークンの種類となっていることがあります。

そうでない場合、たとえば「123」と「456」をコンパイラレベルで分別しても、それを活かす場所がないので、同じ「整数」という区分となります。

Comments

[maisumakun]

逆に伺いますが、「123」や「456」を別種のトークンと認識したとして、その情報をどこでどのように使う考えでしょうか？