diff --git a/lexer/readme.md b/lexer/readme.md index fc2a12d..64fc8e3 100644 --- a/lexer/readme.md +++ b/lexer/readme.md @@ -14,26 +14,26 @@ Lexers utilizados em linguagens comerciais geralmente anexam ao token o número Os tipos atribuídos aos tokens por esse lexer são: -| Tipo atribuído | Descrição | Exemplo | Tipo do token | -|----------------|-----------------------------------------------------|---------|-------------------| -| ILLEGAL | Caracteres ilegais (não reconhecidos pelo lexer) | | Especial | -| EOF | Final do arquivo | | Especial | -| IDENT | Identificadores de variáveis | result | Operador | -| INT | Números inteiros | 1 | Operador | -| ASSIGN | Operador de atribuição | = | Delimitador | -| PLUS | Operador de soma | + | Delimitador | -| COMMA | Separador de identificador | , | | -| SEMICOLON | Separador de declaração (geralmente final de linha) | ; | | -| LPAREN | TODO | ( | | -| RPAREN | TODO | ) | | -| LBRACE | TODO | { | | -| RBRACE | TODO | } | | -| FUNCTION | Utilizado na declaração de função | fn | Palavra reservada | -| LET | Utilizado na declaração de variável | let | Palavra reservada | - - - - +| Tipo atribuído | Descrição | Exemplo de literal | Tipo do token | +|----------------|-----------------------------------------------------|--------------------|-------------------| +| ILLEGAL | Caracteres ilegais (não reconhecidos pelo lexer) | | Especial | +| EOF | Final do arquivo | | Especial | +| IDENT | Identificadores de variáveis | result | Operador | +| INT | Números inteiros | 1 | Operador | +| ASSIGN | Operador de atribuição | = | Delimitador | +| PLUS | Operador de soma | + | Delimitador | +| COMMA | Separador de identificador | , | | +| SEMICOLON | Separador de declaração (geralmente final de linha) | ; | | +| LPAREN | TODO | ( | | +| RPAREN | TODO | ) | | +| LBRACE | TODO | { | | +| RBRACE | TODO | } | | +| FUNCTION | Utilizado na declaração de função | fn | Palavra reservada | +| LET | Utilizado na declaração de variável | let | Palavra reservada | + +O input desse lexer é uma string. + +Para retornar a lista de tokens, é necessário chamar a função NextToken(). Ela retorna um token por vez que é chamada.