Expand description
§Aura プログラミング言語用レキサー（字句解析器）
このモジュールは、Aura 言語のソースコード文字列をトークン列（字句）に変換する処理を提供します。 コメント、識別子、数値（整数および有理数/小数）、文字列リテラル、テンプレート文字列などを解釈します。
Enums§
- Token
- Aura 言語における最小のトークン（字句）の定義。
Functions§
- is_
digit_ 🔒next - 次の文字（現在の文字の1つ先）がアスキー数字であるかどうかを判定します。
符号（
+,-）の直後に数値が続いているかを判別するために使用されます。 - tokenize
- ソースコード文字列を入力として受け取り、トークンの配列（
Vec<Token>）に分解します。