Function tokenize 

pub fn tokenize(input: &str) -> Vec<Token>

ソースコード文字列を入力として受け取り、トークンの配列（Vec<Token>）に分解します。

コメントの処理

• # : 行末までの1行コメント（インデントを継承する設計用情報）
• ## : インデントを無視して行頭から始まる1行コメント
• #| と |# : ブロックコメント（インデントを継承）
• ##| と |## : ブロックコメント（インデントを無視）

※ レキサー内部では、コメント領域内の文字列は単にスキップされ、トークンとして出力されません。

引数

• input - 解析対象のソースコード文字列

戻り値

字句解析によって得られたトークンの配列