Lexer
src/lexer/ · tokenizetexte source→LexerToken + Span
- Découpe en
HangulWord,LatinWord,Int,Float,Str,Punctuation,Operator,Eof. Saute les commentaires. - Les positions (
Span) sont en octets. - Ne connaît ni mot-clé ni particule :
합은reste un seul mot.
Erreurs : chaîne ou commentaire non terminé, jamo isolé, caractère inattendu, entier trop grand.
La ligne suivie
HangulWord(합은) Int(3) HangulWord(과) Int(4) HangulWord(를) HangulWord(더한) HangulWord(값이에요) Punctuation(.)