Usermode/Libraries/libspiderscript.so_src/parse.c

   1 /*
   2  * Acess2 - SpiderScript
   3  * - Parser
   4  */
   5 #include <string.h>
   6 #include <stdlib.h>
   7 #include <stdio.h>
   8 #include <spiderscript.h>
   9 #define WANT_TOKEN_STRINGS      1
  10 #include "tokens.h"
  11 #include "ast.h"
  12
  13 #define DEBUG   0
  14
  15 // === PROTOTYPES ===
  16 tAST_Script     *Parse_Buffer(tSpiderVariant *Variant, char *Buffer);
  17 tAST_Node       *Parse_DoCodeBlock(tParser *Parser);
  18 tAST_Node       *Parse_DoBlockLine(tParser *Parser);
  19 tAST_Node       *Parse_GetVarDef(tParser *Parser, int Type);
  20
  21 tAST_Node       *Parse_DoExpr0(tParser *Parser);        // Assignment
  22 tAST_Node       *Parse_DoExpr1(tParser *Parser);        // Boolean Operators
  23 tAST_Node       *Parse_DoExpr2(tParser *Parser);        // Comparison Operators
  24 tAST_Node       *Parse_DoExpr3(tParser *Parser);        // Bitwise Operators
  25 tAST_Node       *Parse_DoExpr4(tParser *Parser);        // Bit Shifts
  26 tAST_Node       *Parse_DoExpr5(tParser *Parser);        // Arithmatic
  27 tAST_Node       *Parse_DoExpr6(tParser *Parser);        // Mult & Div
  28
  29 tAST_Node       *Parse_DoParen(tParser *Parser);        // Parenthesis (Always Last)
  30 tAST_Node       *Parse_DoValue(tParser *Parser);        // Values
  31
  32 tAST_Node       *Parse_GetString(tParser *Parser);
  33 tAST_Node       *Parse_GetNumeric(tParser *Parser);
  34 tAST_Node       *Parse_GetVariable(tParser *Parser);
  35 tAST_Node       *Parse_GetIdent(tParser *Parser);
  36
  37 void    SyntaxAssert(tParser *Parser, int Have, int Want);
  38
  39 #define TODO(Parser, message...) do {\
  40         fprintf(stderr, "TODO: "message);\
  41         longjmp(Parser->JmpTarget, -1);\
  42 }while(0)
  43
  44 // === CODE ===
  45 /**
  46  * \brief Parse a buffer into a syntax tree
  47  */
  48 tAST_Script     *Parse_Buffer(tSpiderVariant *Variant, char *Buffer)
  49 {
  50         tParser parser = {0};
  51         tParser *Parser = &parser;      //< Keeps code consitent
  52         tAST_Script     *ret;
  53         tAST_Node       *mainCode;
  54         char    *name;
  55         tAST_Function   *fcn;
  56          int    type;
  57
  58         #if DEBUG >= 2
  59         printf("Parse_Buffer: (Variant=%p, Buffer=%p)\n", Variant, Buffer);
  60         #endif
  61
  62         // Initialise parser
  63         parser.LastToken = -1;
  64         parser.NextToken = -1;
  65         parser.CurLine = 1;
  66         parser.BufStart = Buffer;
  67         parser.CurPos = Buffer;
  68
  69         ret = AST_NewScript();
  70         mainCode = AST_NewCodeBlock();
  71
  72         // Give us an error fallback
  73         if( setjmp( parser.JmpTarget ) != 0 )
  74         {
  75                 AST_FreeNode( mainCode );
  76                 return NULL;
  77         }
  78
  79         // Parse the file!
  80         while(Parser->Token != TOK_EOF)
  81         {
  82                 switch( GetToken(Parser) )
  83                 {
  84                 case TOK_EOF:
  85                         break;
  86
  87                 // Typed variables/functions
  88                 case TOKEN_GROUP_TYPES:
  89                         {
  90                          int    tok, type;
  91                         TOKEN_GET_DATATYPE(type, Parser->Token);
  92
  93                         tok = GetToken(Parser);
  94                         // Define a function (pass on to the other function definition code)
  95                         if( tok == TOK_IDENT ) {
  96                                 goto defFcn;
  97                         }
  98                         // Define a variable
  99                         else if( tok == TOK_VARIABLE ) {
 100                                 AST_AppendNode( mainCode, Parse_GetVarDef(Parser, type) );
 101                                 SyntaxAssert(Parser, GetToken(Parser), TOK_SEMICOLON);
 102                         }
 103                         else {
 104                                 fprintf(stderr, "ERROR: Unexpected %s, expected TOK_IDENT or TOK_VARIABLE\n",
 105                                         csaTOKEN_NAMES[tok]);
 106                         }
 107                         }
 108                         break;
 109
 110                 // Define a function
 111                 case TOK_RWD_FUNCTION:
 112                         if( !Variant->bDyamicTyped ) {
 113                                 fprintf(stderr, "ERROR: Attempt to create a dynamic function\n");
 114                                 longjmp(Parser->JmpTarget, -1);
 115                         }
 116                         type = SS_DATATYPE_DYNAMIC;
 117                         SyntaxAssert(Parser, GetToken(Parser), TOK_IDENT );
 118                 defFcn:
 119                         name = strndup( Parser->TokenStr, Parser->TokenLen );
 120                         fcn = AST_AppendFunction( ret, name );
 121                         #if DEBUG
 122                         printf("DefFCN %s\n", name);
 123                         #endif
 124                         free(name);
 125
 126                         // Get arguments
 127                         SyntaxAssert(Parser, GetToken(Parser), TOK_PAREN_OPEN );
 128                         if( LookAhead(Parser) != TOK_PAREN_CLOSE )
 129                         {
 130                                 do {
 131                                         type = SS_DATATYPE_DYNAMIC;
 132                                         GetToken(Parser);
 133                                         // Non dynamic typed variants must use data types
 134                                         if( !Variant->bDyamicTyped ) {
 135                                                 TOKEN_GET_DATATYPE(type, Parser->Token);
 136                                                 GetToken(Parser);
 137                                         }
 138                                         AST_AppendFunctionArg(fcn, Parse_GetVarDef(Parser, type));
 139                                 }       while(GetToken(Parser) == TOK_COMMA);
 140                         }
 141                         else
 142                                 GetToken(Parser);
 143                         SyntaxAssert(Parser, Parser->Token, TOK_PAREN_CLOSE );
 144
 145                         AST_SetFunctionCode( fcn, Parse_DoCodeBlock(Parser) );
 146                         break;
 147
 148                 default:
 149                         PutBack(Parser);
 150                         AST_AppendNode( mainCode, Parse_DoBlockLine(Parser) );
 151                         break;
 152                 }
 153         }
 154
 155         fcn = AST_AppendFunction( ret, "" );
 156         AST_SetFunctionCode( fcn, mainCode );
 157
 158         printf("---- %p parsed as SpiderScript ----\n", Buffer);
 159
 160         return ret;
 161 }
 162
 163 /**
 164  * \brief Parse a block of code surrounded by { }
 165  */
 166 tAST_Node *Parse_DoCodeBlock(tParser *Parser)
 167 {
 168         tAST_Node       *ret;
 169
 170         // Check if we are being called for a one-liner
 171         if( GetToken(Parser) != TOK_BRACE_OPEN ) {
 172                 PutBack(Parser);
 173                 return Parse_DoBlockLine(Parser);
 174         }
 175
 176         ret = AST_NewCodeBlock();
 177
 178         while( LookAhead(Parser) != TOK_BRACE_CLOSE )
 179         {
 180                 AST_AppendNode( ret, Parse_DoBlockLine(Parser) );
 181         }
 182         GetToken(Parser);       // Omnomnom
 183         return ret;
 184 }
 185
 186 /**
 187  * \brief Parse a line in a block
 188  */
 189 tAST_Node *Parse_DoBlockLine(tParser *Parser)
 190 {
 191         tAST_Node       *ret;
 192
 193         //printf("Parse_DoBlockLine: Line %i\n", Parser->CurLine);
 194
 195         switch(LookAhead(Parser))
 196         {
 197
 198         // Return from a method
 199         case TOK_RWD_RETURN:
 200                 //printf("return\n");
 201                 GetToken(Parser);
 202                 ret = AST_NewUniOp(NODETYPE_RETURN, Parse_DoExpr0(Parser));
 203                 break;
 204
 205         // Control Statements
 206         case TOK_RWD_IF:
 207                 {
 208                 tAST_Node       *cond, *true, *false = NULL;
 209                 GetToken(Parser);       // eat the if
 210                 SyntaxAssert(Parser, GetToken(Parser), TOK_PAREN_OPEN);
 211                 cond = Parse_DoExpr0(Parser);   // Get condition
 212                 SyntaxAssert(Parser, GetToken(Parser), TOK_PAREN_CLOSE);
 213                 true = Parse_DoCodeBlock(Parser);
 214                 if( LookAhead(Parser) == TOK_RWD_ELSE ) {
 215                         GetToken(Parser);
 216                         false = Parse_DoCodeBlock(Parser);
 217                 }
 218                 ret = AST_NewIf(cond, true, false);
 219                 }
 220                 return ret;
 221         case TOK_RWD_FOR:
 222         case TOK_RWD_DO:
 223         case TOK_RWD_WHILE:
 224                 TODO(Parser, "Implement if, for, do and while\n");
 225                 break;
 226
 227         // Define Variables
 228         case TOKEN_GROUP_TYPES:
 229                 {
 230                          int    type;
 231
 232                         switch(GetToken(Parser))
 233                         {
 234                         case TOK_RWD_INTEGER:   type = SS_DATATYPE_INTEGER;     break;
 235                         case TOK_RWD_OBJECT:    type = SS_DATATYPE_OBJECT;      break;
 236                         case TOK_RWD_REAL:      type = SS_DATATYPE_REAL;        break;
 237                         case TOK_RWD_STRING:    type = SS_DATATYPE_STRING;      break;
 238                         }
 239
 240                         SyntaxAssert(Parser, GetToken(Parser), TOK_VARIABLE);
 241
 242                         ret = Parse_GetVarDef(Parser, type);
 243                 }
 244                 break;
 245
 246         // Default
 247         default:
 248                 //printf("exp0\n");
 249                 ret = Parse_DoExpr0(Parser);
 250                 break;
 251         }
 252
 253         SyntaxAssert(Parser, GetToken(Parser), TOK_SEMICOLON );
 254         return ret;
 255 }
 256
 257 /**
 258  * \brief Get a variable definition
 259  */
 260 tAST_Node *Parse_GetVarDef(tParser *Parser, int Type)
 261 {
 262         char    name[Parser->TokenLen];
 263         tAST_Node       *ret;
 264
 265         SyntaxAssert(Parser, Parser->Token, TOK_VARIABLE);
 266
 267         // copy the name (trimming the $)
 268         memcpy(name, Parser->TokenStr+1, Parser->TokenLen-1);
 269         name[Parser->TokenLen-1] = 0;
 270         // Define the variable
 271         ret = AST_NewDefineVar(Type, name);
 272         // Handle arrays
 273         while( LookAhead(Parser) == TOK_SQUARE_OPEN )
 274         {
 275                 GetToken(Parser);
 276                 AST_AppendNode(ret, Parse_DoExpr0(Parser));
 277                 SyntaxAssert(Parser, GetToken(Parser), TOK_SQUARE_CLOSE);
 278         }
 279         return ret;
 280 }
 281
 282 /**
 283  * \brief Assignment Operations
 284  */
 285 tAST_Node *Parse_DoExpr0(tParser *Parser)
 286 {
 287         tAST_Node       *ret = Parse_DoExpr1(Parser);
 288
 289         // Check Assignment
 290         switch(LookAhead(Parser))
 291         {
 292         case TOK_ASSIGN:
 293                 GetToken(Parser);               // Eat Token
 294                 ret = AST_NewAssign(NODETYPE_NOP, ret, Parse_DoExpr0(Parser));
 295                 break;
 296         #if 0
 297         case TOK_DIV_EQU:
 298                 GetToken(Parser);               // Eat Token
 299                 ret = AST_NewAssign(NODETYPE_DIVIDE, ret, Parse_DoExpr0(Parser));
 300                 break;
 301         case TOK_MULT_EQU:
 302                 GetToken(Parser);               // Eat Token
 303                 ret = AST_NewAssign(NODETYPE_MULTIPLY, ret, Parse_DoExpr0(Parser));
 304                 break;
 305         #endif
 306         default:
 307                 #if DEBUG >= 2
 308                 printf("Parse_DoExpr0: Parser->Token = %i\n", Parser->Token);
 309                 #endif
 310                 break;
 311         }
 312         return ret;
 313 }
 314
 315 /**
 316  * \brief Logical/Boolean Operators
 317  */
 318 tAST_Node *Parse_DoExpr1(tParser *Parser)
 319 {
 320         tAST_Node       *ret = Parse_DoExpr2(Parser);
 321
 322         switch(GetToken(Parser))
 323         {
 324         case TOK_LOGICAND:
 325                 ret = AST_NewBinOp(NODETYPE_LOGICALAND, ret, Parse_DoExpr1(Parser));
 326                 break;
 327         case TOK_LOGICOR:
 328                 ret = AST_NewBinOp(NODETYPE_LOGICALOR, ret, Parse_DoExpr1(Parser));
 329                 break;
 330         case TOK_LOGICXOR:
 331                 ret = AST_NewBinOp(NODETYPE_LOGICALXOR, ret, Parse_DoExpr1(Parser));
 332                 break;
 333         default:
 334                 PutBack(Parser);
 335                 break;
 336         }
 337         return ret;
 338 }
 339
 340 // --------------------
 341 // Expression 2 - Comparison Operators
 342 // --------------------
 343 tAST_Node *Parse_DoExpr2(tParser *Parser)
 344 {
 345         tAST_Node       *ret = Parse_DoExpr3(Parser);
 346
 347         // Check token
 348         switch(GetToken(Parser))
 349         {
 350         case TOK_EQUALS:
 351                 ret = AST_NewBinOp(NODETYPE_EQUALS, ret, Parse_DoExpr2(Parser));
 352                 break;
 353         case TOK_LT:
 354                 ret = AST_NewBinOp(NODETYPE_LESSTHAN, ret, Parse_DoExpr2(Parser));
 355                 break;
 356         case TOK_GT:
 357                 ret = AST_NewBinOp(NODETYPE_GREATERTHAN, ret, Parse_DoExpr2(Parser));
 358                 break;
 359         default:
 360                 PutBack(Parser);
 361                 break;
 362         }
 363         return ret;
 364 }
 365
 366 /**
 367  * \brief Bitwise Operations
 368  */
 369 tAST_Node *Parse_DoExpr3(tParser *Parser)
 370 {
 371         tAST_Node       *ret = Parse_DoExpr4(Parser);
 372
 373         // Check Token
 374         switch(GetToken(Parser))
 375         {
 376         case TOK_OR:
 377                 ret = AST_NewBinOp(NODETYPE_BWOR, ret, Parse_DoExpr3(Parser));
 378                 break;
 379         case TOK_AND:
 380                 ret = AST_NewBinOp(NODETYPE_BWAND, ret, Parse_DoExpr3(Parser));
 381                 break;
 382         case TOK_XOR:
 383                 ret = AST_NewBinOp(NODETYPE_BWXOR, ret, Parse_DoExpr3(Parser));
 384                 break;
 385         default:
 386                 PutBack(Parser);
 387                 break;
 388         }
 389         return ret;
 390 }
 391
 392 // --------------------
 393 // Expression 4 - Shifts
 394 // --------------------
 395 tAST_Node *Parse_DoExpr4(tParser *Parser)
 396 {
 397         tAST_Node *ret = Parse_DoExpr5(Parser);
 398
 399         switch(GetToken(Parser))
 400         {
 401         case TOK_SHL:
 402                 ret = AST_NewBinOp(NODETYPE_BITSHIFTLEFT, ret, Parse_DoExpr5(Parser));
 403                 break;
 404         case TOK_SHR:
 405                 ret = AST_NewBinOp(NODETYPE_BITSHIFTRIGHT, ret, Parse_DoExpr5(Parser));
 406                 break;
 407         default:
 408                 PutBack(Parser);
 409                 break;
 410         }
 411
 412         return ret;
 413 }
 414
 415 // --------------------
 416 // Expression 5 - Arithmatic
 417 // --------------------
 418 tAST_Node *Parse_DoExpr5(tParser *Parser)
 419 {
 420         tAST_Node *ret = Parse_DoExpr6(Parser);
 421
 422         switch(GetToken(Parser))
 423         {
 424         case TOK_PLUS:
 425                 ret = AST_NewBinOp(NODETYPE_ADD, ret, Parse_DoExpr5(Parser));
 426                 break;
 427         case TOK_MINUS:
 428                 ret = AST_NewBinOp(NODETYPE_SUBTRACT, ret, Parse_DoExpr5(Parser));
 429                 break;
 430         default:
 431                 PutBack(Parser);
 432                 break;
 433         }
 434
 435         return ret;
 436 }
 437
 438 // --------------------
 439 // Expression 6 - Multiplcation & Division
 440 // --------------------
 441 tAST_Node *Parse_DoExpr6(tParser *Parser)
 442 {
 443         tAST_Node *ret = Parse_DoParen(Parser);
 444
 445         switch(GetToken(Parser))
 446         {
 447         case TOK_MUL:
 448                 ret = AST_NewBinOp(NODETYPE_MULTIPLY, ret, Parse_DoExpr6(Parser));
 449                 break;
 450         case TOK_DIV:
 451                 ret = AST_NewBinOp(NODETYPE_DIVIDE, ret, Parse_DoExpr6(Parser));
 452                 break;
 453         default:
 454                 PutBack(Parser);
 455                 break;
 456         }
 457
 458         return ret;
 459 }
 460
 461
 462 // --------------------
 463 // 2nd Last Expression - Parens
 464 // --------------------
 465 tAST_Node *Parse_DoParen(tParser *Parser)
 466 {
 467         #if DEBUG >= 2
 468         printf("Parse_DoParen: (Parser=%p)\n", Parser);
 469         #endif
 470         if(LookAhead(Parser) == TOK_PAREN_OPEN)
 471         {
 472                 tAST_Node       *ret;
 473                 GetToken(Parser);
 474
 475                 // TODO: Handle casts here
 476
 477                 ret = Parse_DoExpr0(Parser);
 478                 SyntaxAssert(Parser, GetToken(Parser), TOK_PAREN_CLOSE);
 479                 return ret;
 480         }
 481         else
 482                 return Parse_DoValue(Parser);
 483 }
 484
 485 // --------------------
 486 // Last Expression - Value
 487 // --------------------
 488 tAST_Node *Parse_DoValue(tParser *Parser)
 489 {
 490          int    tok = LookAhead(Parser);
 491
 492         #if DEBUG >= 2
 493         printf("Parse_DoValue: tok = %i\n", tok);
 494         #endif
 495
 496         switch(tok)
 497         {
 498         case TOK_STR:   return Parse_GetString(Parser);
 499         case TOK_INTEGER:       return Parse_GetNumeric(Parser);
 500         case TOK_IDENT: return Parse_GetIdent(Parser);
 501         case TOK_VARIABLE:      return Parse_GetVariable(Parser);
 502
 503         default:
 504                 fprintf(stderr, "Syntax Error: Unexpected %s on line %i, Expected TOK_T_VALUE\n",
 505                         csaTOKEN_NAMES[tok], Parser->CurLine);
 506                 longjmp( Parser->JmpTarget, -1 );
 507         }
 508 }
 509
 510 /**
 511  * \brief Get a string
 512  */
 513 tAST_Node *Parse_GetString(tParser *Parser)
 514 {
 515         tAST_Node       *ret;
 516         GetToken( Parser );
 517         // TODO: Parse Escape Codes
 518         ret = AST_NewString( Parser->TokenStr+1, Parser->TokenLen-2 );
 519         return ret;
 520 }
 521
 522 /**
 523  * \brief Get a numeric value
 524  */
 525 tAST_Node *Parse_GetNumeric(tParser *Parser)
 526 {
 527         uint64_t        value;
 528         GetToken( Parser );
 529         value = atoi( Parser->TokenStr );
 530         return AST_NewInteger( value );
 531 }
 532
 533 /**
 534  * \brief Get a variable
 535  */
 536 tAST_Node *Parse_GetVariable(tParser *Parser)
 537 {
 538         tAST_Node       *ret;
 539         SyntaxAssert( Parser, GetToken(Parser), TOK_VARIABLE );
 540         {
 541                 char    name[Parser->TokenLen];
 542                 memcpy(name, Parser->TokenStr+1, Parser->TokenLen-1);
 543                 name[Parser->TokenLen-1] = 0;
 544                 ret = AST_NewVariable( name );
 545                 #if DEBUG >= 2
 546                 printf("Parse_GetVariable: name = '%s'\n", name);
 547                 #endif
 548         }
 549         // Handle array references
 550         while( LookAhead(Parser) == TOK_SQUARE_OPEN )
 551         {
 552                 GetToken(Parser);
 553                 ret = AST_NewBinOp(NODETYPE_INDEX, ret, Parse_DoExpr0(Parser));
 554                 SyntaxAssert(Parser, GetToken(Parser), TOK_SQUARE_CLOSE);
 555         }
 556         return ret;
 557 }
 558
 559 /**
 560  * \brief Get an identifier (constand or function call)
 561  */
 562 tAST_Node *Parse_GetIdent(tParser *Parser)
 563 {
 564         tAST_Node       *ret;
 565         char    *name;
 566         SyntaxAssert(Parser, GetToken(Parser), TOK_IDENT );
 567         name = strndup( Parser->TokenStr, Parser->TokenLen );
 568
 569         #if 0
 570         while( GetToken(Parser) == TOK_SCOPE )
 571         {
 572                 ret = AST_New
 573         }
 574         PutBack(Parser);
 575         #endif
 576
 577         if( GetToken(Parser) == TOK_PAREN_OPEN )
 578         {
 579                 #if DEBUG >= 2
 580                 printf("Parse_GetIdent: Calling '%s'\n", name);
 581                 #endif
 582                 // Function Call
 583                 ret = AST_NewFunctionCall( name );
 584                 // Read arguments
 585                 if( GetToken(Parser) != TOK_PAREN_CLOSE )
 586                 {
 587                         PutBack(Parser);
 588                         do {
 589                                 #if DEBUG >= 2
 590                                 printf(" Parse_GetIdent: Argument\n");
 591                                 #endif
 592                                 AST_AppendFunctionCallArg( ret, Parse_DoExpr0(Parser) );
 593                         } while(GetToken(Parser) == TOK_COMMA);
 594                         SyntaxAssert( Parser, Parser->Token, TOK_PAREN_CLOSE );
 595                         #if DEBUG >= 2
 596                         printf(" Parse_GetIdent: All arguments parsed\n");
 597                         #endif
 598                 }
 599         }
 600         else {
 601                 // Runtime Constant
 602                 #if DEBUG >= 2
 603                 printf("Parse_GetIdent: Referencing '%s'\n", name);
 604                 #endif
 605                 PutBack(Parser);
 606                 ret = AST_NewConstant( name );
 607         }
 608
 609         free(name);
 610         return ret;
 611 }
 612
 613 /**
 614  * \brief Check for an error
 615  */
 616 void SyntaxAssert(tParser *Parser, int Have, int Want)
 617 {
 618         if(Have != Want) {
 619                 fprintf(stderr, "ERROR: SyntaxAssert Failed, Expected %s(%i), got %s(%i) on line %i\n",
 620                         csaTOKEN_NAMES[Want], Want, csaTOKEN_NAMES[Have], Have, Parser->CurLine);
 621                 longjmp(Parser->JmpTarget, -1);
 622         }
 623 }
 624