Kernel/arch/x86/mm_phys.c

   1 /*
   2  * Acess2
   3  * - Physical memory manager
   4  */
   5 #define DEBUG   0
   6 #include <acess.h>
   7 #include <mboot.h>
   8 #include <mm_virt.h>
   9
  10 //#define USE_STACK     1
  11 #define TRACE_ALLOCS    0       // Print trace messages on AllocPhys/DerefPhys
  12
  13 #define REFERENCE_BASE  0xE0400000
  14
  15 // === IMPORTS ===
  16 extern void     gKernelEnd;
  17
  18 // === PROTOTYPES ===
  19 tPAddr  MM_AllocPhys(void);
  20 tPAddr  MM_AllocPhysRange(int Pages, int MaxBits);
  21 void    MM_RefPhys(tPAddr PAddr);
  22 void    MM_DerefPhys(tPAddr PAddr);
  23
  24 // === GLOBALS ===
  25 tMutex  glPhysAlloc;
  26 Uint64  giPhysAlloc = 0;        // Number of allocated pages
  27 Uint64  giPageCount = 0;        // Total number of pages
  28 Uint64  giLastPossibleFree = 0; // Last possible free page (before all pages are used)
  29
  30 Uint32  gaSuperBitmap[1024];    // Blocks of 1024 Pages
  31 Uint32  gaPageBitmap[1024*1024/32];     // Individual pages
  32 Uint32  *gaPageReferences;
  33
  34 // === CODE ===
  35 void MM_Install(tMBoot_Info *MBoot)
  36 {
  37         Uint    kernelPages, num;
  38         Uint    i;
  39         Uint64  maxAddr = 0;
  40         tMBoot_Module   *mods;
  41         tMBoot_MMapEnt  *ent;
  42
  43         // --- Find largest address
  44         MBoot->MMapAddr |= KERNEL_BASE;
  45         ent = (void *)( MBoot->MMapAddr );
  46         while( (Uint)ent < MBoot->MMapAddr + MBoot->MMapLength )
  47         {
  48                 // Adjust for size
  49                 ent->Size += 4;
  50
  51                 // If entry is RAM and is above `maxAddr`, change `maxAddr`
  52                 if(ent->Type == 1 && ent->Base + ent->Length > maxAddr)
  53                         maxAddr = ent->Base + ent->Length;
  54                 // Go to next entry
  55                 ent = (tMBoot_MMapEnt *)( (Uint)ent + ent->Size );
  56         }
  57
  58         if(maxAddr == 0) {
  59                 giPageCount = (MBoot->HighMem >> 2) + 256;      // HighMem is a kByte value
  60         }
  61         else {
  62                 giPageCount = maxAddr >> 12;
  63         }
  64         giLastPossibleFree = giPageCount - 1;
  65
  66         memsetd(gaPageBitmap, 0xFFFFFFFF, giPageCount/32);
  67
  68         // Set up allocateable space
  69         ent = (void *)( MBoot->MMapAddr );
  70         while( (Uint)ent < MBoot->MMapAddr + MBoot->MMapLength )
  71         {
  72                 memsetd( &gaPageBitmap[ent->Base/(4096*32)], 0, ent->Length/(4096*32) );
  73                 ent = (tMBoot_MMapEnt *)( (Uint)ent + ent->Size );
  74         }
  75
  76         // Get used page count (Kernel)
  77         kernelPages = (Uint)&gKernelEnd - KERNEL_BASE - 0x100000;
  78         kernelPages += 0xFFF;   // Page Align
  79         kernelPages >>= 12;
  80
  81         // Fill page bitmap
  82         num = kernelPages/32;
  83         memsetd( &gaPageBitmap[0x100000/(4096*32)], -1, num );
  84         gaPageBitmap[ 0x100000/(4096*32) + num ] = (1 << (kernelPages & 31)) - 1;
  85
  86         // Fill Superpage bitmap
  87         num = kernelPages/(32*32);
  88         memsetd( &gaSuperBitmap[0x100000/(4096*32*32)], -1, num );
  89         gaSuperBitmap[ 0x100000/(4096*32*32) + num ] = (1 << ((kernelPages / 32) & 31)) - 1;
  90
  91         // Mark Multiboot's pages as taken
  92         // - Structure
  93         MM_RefPhys( (Uint)MBoot - KERNEL_BASE );
  94         // - Module List
  95         for(i = (MBoot->ModuleCount*sizeof(tMBoot_Module)+0xFFF)>12; i--; )
  96                 MM_RefPhys( MBoot->Modules + (i << 12) );
  97         // - Modules
  98         mods = (void*)(MBoot->Modules + KERNEL_BASE);
  99         for(i = 0; i < MBoot->ModuleCount; i++)
 100         {
 101                 num = (mods[i].End - mods[i].Start + 0xFFF) >> 12;
 102                 while(num--)
 103                         MM_RefPhys( (mods[i].Start & ~0xFFF) + (num<<12) );
 104         }
 105
 106         // Allocate References
 107         //LOG("Reference Pages %i", (giPageCount*4+0xFFF)>>12);
 108         for(num = 0; num < (giPageCount*4+0xFFF)>>12; num++)
 109         {
 110                 if( !MM_Allocate( REFERENCE_BASE + (num<<12) ) )
 111                 {
 112                         Panic("Oh, ****, no space for the reference pages, that's bad");
 113                         for(;;);
 114                 }
 115         }
 116
 117         //LOG("Filling");
 118         // Fill references
 119         gaPageReferences = (void*)REFERENCE_BASE;
 120         memsetd(gaPageReferences, 1, kernelPages);
 121         for( num = kernelPages; num < giPageCount; num++ )
 122         {
 123                 gaPageReferences[num] = (gaPageBitmap[ num / 32 ] >> (num&31)) & 1;
 124         }
 125 }
 126
 127 /**
 128  * \fn tPAddr MM_AllocPhys(void)
 129  * \brief Allocates a physical page from the general pool
 130  */
 131 tPAddr MM_AllocPhys(void)
 132 {
 133         // int  a, b, c;
 134          int    indx = -1;
 135         tPAddr  ret;
 136
 137         ENTER("");
 138
 139         Mutex_Acquire( &glPhysAlloc );
 140
 141         // Classful scan
 142         #if 1
 143         {
 144         const int addrClasses[] = {0,16,20,24,32,64};
 145         const int numAddrClasses = sizeof(addrClasses)/sizeof(addrClasses[0]);
 146          int    i;
 147          int    first, last;
 148         for( i = numAddrClasses; i -- > 1; )
 149         {
 150 //              Log("Scanning %i (%i bits)", i, addrClasses[i]);
 151                 first = 1 << (addrClasses[i-1] - 12);
 152                 last = (1 << (addrClasses[i] - 12)) - 1;
 153                 // Range is above the last free page
 154                 if( first > giLastPossibleFree )
 155                         continue;
 156                 // Last possible free page is in the range
 157                 if( last > giLastPossibleFree )
 158                         last = giLastPossibleFree;
 159
 160 //              Log(" first=%i,max=%i", first, last);
 161                 // Scan the range
 162                 for( indx = first; indx < last; )
 163                 {
 164 //                      Log("indx = %i (< %i?)", indx, last);
 165                         if( gaSuperBitmap[indx>>10] == -1 ) {
 166                                 indx += 1024;
 167                                 continue;
 168                         }
 169
 170                         if( gaPageBitmap[indx>>5] == -1 ) {
 171                                 indx += 32;
 172                                 continue;
 173                         }
 174
 175                         if( gaPageBitmap[indx>>5] & (1 << (indx&31)) ) {
 176                                 indx ++;
 177                                 continue;
 178                         }
 179                         break;
 180                 }
 181                 if( indx < last )       break;
 182
 183                 giLastPossibleFree = first;     // Well, we couldn't find any in this range
 184         }
 185         // Out of memory?
 186         if( i <= 1 )    indx = -1;
 187 //      Log("indx = %i", indx);
 188         }
 189         #elif 0
 190         // Find free page
 191         // Scan downwards
 192         LOG("giLastPossibleFree = %i", giLastPossibleFree);
 193         for( indx = giLastPossibleFree; indx >= 0; )
 194         {
 195                 if( gaSuperBitmap[indx>>10] == -1 ) {
 196                         indx -= 1024;
 197                         continue;
 198                 }
 199
 200                 if( gaPageBitmap[indx>>5] == -1 ) {
 201                         indx -= 32;
 202                         continue;
 203                 }
 204
 205                 if( gaPageBitmap[indx>>5] & (1 << (indx&31)) ) {
 206                         indx --;
 207                         continue;
 208                 }
 209                 break;
 210         }
 211         if( indx >= 0 )
 212                 giLastPossibleFree = indx;
 213         LOG("indx = %i", indx);
 214         #else
 215         c = giLastPossibleFree % 32;
 216         b = (giLastPossibleFree / 32) % 32;
 217         a = giLastPossibleFree / 1024;
 218
 219         LOG("a=%i,b=%i,c=%i", a, b, c);
 220         for( ; gaSuperBitmap[a] == -1 && a >= 0; a-- );
 221         if(a < 0) {
 222                 Mutex_Release( &glPhysAlloc );
 223                 Warning("MM_AllocPhys - OUT OF MEMORY (Called by %p) - %lli/%lli used",
 224                         __builtin_return_address(0), giPhysAlloc, giPageCount);
 225                 LEAVE('i', 0);
 226                 return 0;
 227         }
 228         for( ; gaSuperBitmap[a] & (1<<b); b-- );
 229         for( ; gaPageBitmap[a*32+b] & (1<<c); c-- );
 230         LOG("a=%i,b=%i,c=%i", a, b, c);
 231         indx = (a << 10) | (b << 5) | c;
 232         if( indx >= 0 )
 233                 giLastPossibleFree = indx;
 234         #endif
 235
 236         if( indx < 0 ) {
 237                 Mutex_Release( &glPhysAlloc );
 238                 Warning("MM_AllocPhys - OUT OF MEMORY (Called by %p) - %lli/%lli used (indx = %x)",
 239                         __builtin_return_address(0), giPhysAlloc, giPageCount, indx);
 240                 Log_Debug("PMem", "giLastPossibleFree = %lli", giLastPossibleFree);
 241                 LEAVE('i', 0);
 242                 return 0;
 243         }
 244
 245         if( indx > 0xFFFFF ) {
 246                 Panic("The fuck? Too many pages! (indx = 0x%x)", indx);
 247         }
 248
 249         // Mark page used
 250         if(gaPageReferences)
 251                 gaPageReferences[ indx ] = 1;
 252         gaPageBitmap[ indx>>5 ] |= 1 << (indx&31);
 253
 254         giPhysAlloc ++;
 255
 256         // Get address
 257         ret = indx << 12;
 258
 259         // Mark used block
 260         if(gaPageBitmap[ indx>>5 ] == -1) {
 261                 gaSuperBitmap[indx>>10] |= 1 << ((indx>>5)&31);
 262         }
 263
 264         // Release Spinlock
 265         Mutex_Release( &glPhysAlloc );
 266
 267         LEAVE('X', ret);
 268         #if TRACE_ALLOCS
 269         Log_Debug("PMem", "MM_AllocPhys: RETURN 0x%llx (%i free)", ret, giPageCount-giPhysAlloc);
 270         #endif
 271         return ret;
 272 }
 273
 274 /**
 275  * \fn tPAddr MM_AllocPhysRange(int Pages, int MaxBits)
 276  * \brief Allocate a range of physical pages
 277  * \param Pages Number of pages to allocate
 278  * \param MaxBits       Maximum number of address bits to use
 279  */
 280 tPAddr MM_AllocPhysRange(int Pages, int MaxBits)
 281 {
 282          int    a, b;
 283          int    i, idx, sidx;
 284         tPAddr  ret;
 285
 286         ENTER("iPages iMaxBits", Pages, MaxBits);
 287
 288         // Sanity Checks
 289         if(MaxBits < 0) {
 290                 LEAVE('i', 0);
 291                 return 0;
 292         }
 293         if(MaxBits > PHYS_BITS) MaxBits = PHYS_BITS;
 294
 295         // Lock
 296         Mutex_Acquire( &glPhysAlloc );
 297
 298         // Set up search state
 299         if( giLastPossibleFree > ((tPAddr)1 << (MaxBits-12)) ) {
 300                 sidx = (tPAddr)1 << (MaxBits-12);
 301         }
 302         else {
 303                 sidx = giLastPossibleFree;
 304         }
 305         idx = sidx / 32;
 306         sidx %= 32;
 307         b = idx % 32;
 308         a = idx / 32;
 309
 310         #if 0
 311         LOG("a=%i, b=%i, idx=%i, sidx=%i", a, b, idx, sidx);
 312
 313         // Find free page
 314         for( ; gaSuperBitmap[a] == -1 && a --; )        b = 31;
 315         if(a < 0) {
 316                 Mutex_Release( &glPhysAlloc );
 317                 Warning("MM_AllocPhysRange - OUT OF MEMORY (Called by %p)", __builtin_return_address(0));
 318                 LEAVE('i', 0);
 319                 return 0;
 320         }
 321         LOG("a = %i", a);
 322         for( ; gaSuperBitmap[a] & (1 << b); b-- )       sidx = 31;
 323         LOG("b = %i", b);
 324         idx = a * 32 + b;
 325         for( ; gaPageBitmap[idx] & (1 << sidx); sidx-- )
 326                 LOG("gaPageBitmap[%i] = 0x%08x", idx, gaPageBitmap[idx]);
 327
 328         LOG("idx = %i, sidx = %i", idx, sidx);
 329         #else
 330
 331         #endif
 332
 333         // Check if the gap is large enough
 334         while( idx >= 0 )
 335         {
 336                 // Find a free page
 337                 for( ; ; )
 338                 {
 339                         // Bulk Skip
 340                         if( gaPageBitmap[idx] == -1 ) {
 341                                 idx --;
 342                                 sidx = 31;
 343                                 continue;
 344                         }
 345
 346                         if( gaPageBitmap[idx] & (1 << sidx) ) {
 347                                 sidx --;
 348                                 if(sidx < 0) {  sidx = 31;      idx --; }
 349                                 if(idx < 0)     break;
 350                                 continue;
 351                         }
 352                         break;
 353                 }
 354                 if( idx < 0 )   break;
 355
 356                 // Check if it is a free range
 357                 for( i = 0; i < Pages; i++ )
 358                 {
 359                         // Used page? break
 360                         if( gaPageBitmap[idx] & (1 << sidx) )
 361                                 break;
 362
 363                         sidx --;
 364                         if(sidx < 0) {  sidx = 31;      idx --; }
 365                         if(idx < 0)     break;
 366                 }
 367
 368                 if( i == Pages )
 369                         break;
 370         }
 371
 372         // Check if an address was found
 373         if( idx < 0 ) {
 374                 Mutex_Release( &glPhysAlloc );
 375                 Warning("MM_AllocPhysRange - OUT OF MEMORY (Called by %p)", __builtin_return_address(0));
 376                 LEAVE('i', 0);
 377                 return 0;
 378         }
 379
 380         // Mark pages used
 381         for( i = 0; i < Pages; i++ )
 382         {
 383                 if(gaPageReferences)
 384                         gaPageReferences[idx*32+sidx] = 1;
 385                 gaPageBitmap[ idx ] |= 1 << sidx;
 386                 sidx ++;
 387                 giPhysAlloc ++;
 388                 if(sidx == 32) { sidx = 0;      idx ++; }
 389         }
 390
 391         // Get address
 392         ret = (idx << 17) | (sidx << 12);
 393
 394         // Mark used block
 395         if(gaPageBitmap[ idx ] == -1)   gaSuperBitmap[idx/32] |= 1 << (idx%32);
 396
 397         // Release Spinlock
 398         Mutex_Release( &glPhysAlloc );
 399
 400         LEAVE('X', ret);
 401         #if TRACE_ALLOCS
 402         Log_Debug("PMem", "MM_AllocPhysRange: RETURN 0x%llx-0x%llx (%i free)",
 403                 ret, ret + (1<<Pages)-1, giPageCount-giPhysAlloc);
 404         #endif
 405         return ret;
 406 }
 407
 408 /**
 409  * \fn void MM_RefPhys(tPAddr PAddr)
 410  */
 411 void MM_RefPhys(tPAddr PAddr)
 412 {
 413         // Get page number
 414         PAddr >>= 12;
 415
 416         // We don't care about non-ram pages
 417         if(PAddr >= giPageCount)        return;
 418
 419         // Lock Structures
 420         Mutex_Acquire( &glPhysAlloc );
 421
 422         // Reference the page
 423         if(gaPageReferences)
 424                 gaPageReferences[ PAddr ] ++;
 425
 426         // Mark as used
 427         gaPageBitmap[ PAddr / 32 ] |= 1 << (PAddr&31);
 428
 429         // Mark used block
 430         if(gaPageBitmap[ PAddr / 32 ] == -1)
 431                 gaSuperBitmap[PAddr/1024] |= 1 << ((PAddr/32)&31);
 432
 433         // Release Spinlock
 434         Mutex_Release( &glPhysAlloc );
 435 }
 436
 437 /**
 438  * \fn void MM_DerefPhys(tPAddr PAddr)
 439  * \brief Dereferences a physical page
 440  */
 441 void MM_DerefPhys(tPAddr PAddr)
 442 {
 443         // Get page number
 444         PAddr >>= 12;
 445
 446         // We don't care about non-ram pages
 447         if(PAddr >= giPageCount)        return;
 448
 449         // Check if it is freed
 450         if(gaPageReferences[ PAddr ] == 0) {
 451                 Warning("MM_DerefPhys - Non-referenced memory dereferenced");
 452                 return;
 453         }
 454
 455         // Lock Structures
 456         Mutex_Acquire( &glPhysAlloc );
 457
 458         if( giLastPossibleFree < PAddr )
 459                 giLastPossibleFree = PAddr;
 460
 461         // Dereference
 462         gaPageReferences[ PAddr ] --;
 463
 464         // Mark as free in bitmaps
 465         if( gaPageReferences[ PAddr ] == 0 )
 466         {
 467                 #if TRACE_ALLOCS
 468                 Log_Debug("PMem", "MM_DerefPhys: Free'd 0x%x (%i free)", PAddr, giPageCount-giPhysAlloc);
 469                 #endif
 470                 //LOG("Freed 0x%x by %p\n", PAddr<<12, __builtin_return_address(0));
 471                 giPhysAlloc --;
 472                 gaPageBitmap[ PAddr / 32 ] &= ~(1 << (PAddr&31));
 473                 if(gaPageReferences[ PAddr ] == 0)
 474                         gaSuperBitmap[ PAddr >> 10 ] &= ~(1 << ((PAddr >> 5)&31));
 475         }
 476
 477         // Release spinlock
 478         Mutex_Release( &glPhysAlloc );
 479 }
 480
 481 /**
 482  * \fn int MM_GetRefCount(tPAddr Addr)
 483  */
 484 int MM_GetRefCount(tPAddr Addr)
 485 {
 486         // Get page number
 487         Addr >>= 12;
 488
 489         // We don't care about non-ram pages
 490         if(Addr >= giPageCount) return -1;
 491
 492         // Check if it is freed
 493         return gaPageReferences[ Addr ];
 494 }