Fixed a bug in the heap manager where if an exact match of the block is found, garbag...
[tpg/acess2.git] / Kernel / arch / x86 / mm_virt.c
index b87967d..cf77b87 100644 (file)
@@ -9,29 +9,47 @@
  * 0xFE - Unused
  * 0xFF - System Calls / Kernel's User Code
  */
-#define DEBUG  1
-#include <common.h>
+#define DEBUG  0
+#define SANITY 1
+#include <acess.h>
 #include <mm_phys.h>
 #include <proc.h>
 
+#if USE_PAE
+# define TAB   21
+# define DIR   30
+#else
+# define TAB   22
+#endif
+
 #define KERNEL_STACKS          0xF0000000
 #define        KERNEL_STACK_SIZE       0x00008000
-#define KERNEL_STACKS_END      0xFD000000
+#define KERNEL_STACKS_END      0xFC000000
 #define WORKER_STACKS          0x00100000      // Thread0 Only!
 #define        WORKER_STACK_SIZE       KERNEL_STACK_SIZE
 #define WORKER_STACKS_END      0xB0000000
 #define        NUM_WORKER_STACKS       ((WORKER_STACKS_END-WORKER_STACKS)/WORKER_STACK_SIZE)
-#define PAGE_TABLE_ADDR        0xFD000000
-#define PAGE_DIR_ADDR  0xFD3F4000
-#define PAGE_CR3_ADDR  0xFD3F4FD0
-#define TMP_CR3_ADDR   0xFD3F4FD4      // Part of core instead of temp
-#define TMP_DIR_ADDR   0xFD3F5000      // Same
-#define TMP_TABLE_ADDR 0xFD400000
-#define        HW_MAP_ADDR             0xFD800000
-#define        HW_MAP_MAX              0xFEFF0000
+
+#define PAE_PAGE_TABLE_ADDR    0xFC000000      // 16 MiB
+#define PAE_PAGE_DIR_ADDR      0xFCFC0000      // 16 KiB
+#define PAE_PAGE_PDPT_ADDR     0xFCFC3F00      // 32 bytes
+#define PAE_TMP_PDPT_ADDR      0xFCFC3F20      // 32 bytes
+#define PAE_TMP_DIR_ADDR       0xFCFE0000      // 16 KiB
+#define PAE_TMP_TABLE_ADDR     0xFD000000      // 16 MiB
+
+#define PAGE_TABLE_ADDR        0xFC000000
+#define PAGE_DIR_ADDR  0xFC3F0000
+#define PAGE_CR3_ADDR  0xFC3F0FC0
+#define TMP_CR3_ADDR   0xFC3F0FC4      // Part of core instead of temp
+#define TMP_DIR_ADDR   0xFC3F1000      // Same
+#define TMP_TABLE_ADDR 0xFC400000
+
+#define HW_MAP_ADDR            0xFE000000
+#define        HW_MAP_MAX              0xFFEF0000
 #define        NUM_HW_PAGES    ((HW_MAP_MAX-HW_MAP_ADDR)/0x1000)
-#define        TEMP_MAP_ADDR   0xFEFF0000      // Allows 16 "temp" pages
+#define        TEMP_MAP_ADDR   0xFFEF0000      // Allows 16 "temp" pages
 #define        NUM_TEMP_PAGES  16
+#define LAST_BLOCK_ADDR        0xFFFF0000      // Free space for kernel provided user code/ *(-1) protection
 
 #define        PF_PRESENT      0x1
 #define        PF_WRITE        0x2
@@ -63,16 +81,18 @@ tPAddr      MM_DuplicatePage(tVAddr VAddr);
 // === GLOBALS ===
 #define gaPageTable    ((tTabEnt*)PAGE_TABLE_ADDR)
 #define gaPageDir      ((tTabEnt*)PAGE_DIR_ADDR)
-#define gaPageCR3      ((tTabEnt*)PAGE_CR3_ADDR)
 #define gaTmpTable     ((tTabEnt*)TMP_TABLE_ADDR)
 #define gaTmpDir       ((tTabEnt*)TMP_DIR_ADDR)
-#define gTmpCR3        ((tTabEnt*)TMP_CR3_ADDR)
-//tPAddr       *gaPageTable = (void*)PAGE_TABLE_ADDR;
-//tPAddr       *gaPageDir = (void*)PAGE_DIR_ADDR;
-//tPAddr       *gaPageCR3 = (void*)PAGE_CR3_ADDR;
-//tPAddr       *gaTmpTable = (void*)TMP_TABLE_ADDR;
-//tPAddr       *gaTmpDir = (void*)TMP_DIR_ADDR;
-//tPAddr       *gTmpCR3 = (void*)TMP_CR3_ADDR;
+#define gpPageCR3      ((tTabEnt*)PAGE_CR3_ADDR)
+#define gpTmpCR3       ((tTabEnt*)TMP_CR3_ADDR)
+
+#define gaPAE_PageTable        ((tTabEnt*)PAE_PAGE_TABLE_ADDR)
+#define gaPAE_PageDir  ((tTabEnt*)PAE_PAGE_DIR_ADDR)
+#define gaPAE_MainPDPT ((tTabEnt*)PAE_PAGE_PDPT_ADDR)
+#define gaPAE_TmpTable ((tTabEnt*)PAE_TMP_DIR_ADDR)
+#define gaPAE_TmpDir   ((tTabEnt*)PAE_TMP_DIR_ADDR)
+#define gaPAE_TmpPDPT  ((tTabEnt*)PAE_TMP_PDPT_ADDR)
+ int   gbUsePAE = 0;
  int   gilTempMappings = 0;
  int   gilTempFractal = 0;
 Uint32 gWorkerStacks[(NUM_WORKER_STACKS+31)/32];
@@ -85,8 +105,11 @@ Uint32      gWorkerStacks[(NUM_WORKER_STACKS+31)/32];
  */
 void MM_PreinitVirtual()
 {
-       gaInitPageDir[ 0 ] = 0;
-       gaInitPageDir[ PAGE_TABLE_ADDR >> 22 ] = ((Uint)&gaInitPageDir - KERNEL_BASE) | 3;
+       #if USE_PAE
+       gaInitPageDir[ ((PAGE_TABLE_ADDR >> TAB)-3*512+3)*2 ] = ((tTabEnt)&gaInitPageDir - KERNEL_BASE) | 3;
+       #else
+       gaInitPageDir[ PAGE_TABLE_ADDR >> 22 ] = ((tTabEnt)&gaInitPageDir - KERNEL_BASE) | 3;
+       #endif
        INVLPG( PAGE_TABLE_ADDR );
 }
 
@@ -98,6 +121,23 @@ void MM_InstallVirtual()
 {
         int    i;
        
+       #if USE_PAE
+       // --- Pre-Allocate kernel tables
+       for( i = KERNEL_BASE >> TAB; i < 1024*4; i ++ )
+       {
+               if( gaPAE_PageDir[ i ] )        continue;
+               
+               // Skip stack tables, they are process unique
+               if( i > KERNEL_STACKS >> TAB && i < KERNEL_STACKS_END >> TAB) {
+                       gaPAE_PageDir[ i ] = 0;
+                       continue;
+               }
+               // Preallocate table
+               gaPAE_PageDir[ i ] = MM_AllocPhys() | 3;
+               INVLPG( &gaPAE_PageTable[i*512] );
+               memset( &gaPAE_PageTable[i*512], 0, 0x1000 );
+       }
+       #else
        // --- Pre-Allocate kernel tables
        for( i = KERNEL_BASE>>22; i < 1024; i ++ )
        {
@@ -112,6 +152,19 @@ void MM_InstallVirtual()
                INVLPG( &gaPageTable[i*1024] );
                memset( &gaPageTable[i*1024], 0, 0x1000 );
        }
+       #endif
+}
+
+/**
+ * \brief Cleans up the SMP required mappings
+ */
+void MM_FinishVirtualInit()
+{
+       #if USE_PAE
+       gaInitPDPT[ 0 ] = 0;
+       #else
+       gaInitPageDir[ 0 ] = 0;
+       #endif
 }
 
 /**
@@ -135,6 +188,7 @@ void MM_PageFault(tVAddr Addr, Uint ErrorCode, tRegs *Regs)
                }
                else
                {
+                       //Log("MM_PageFault: COW - MM_DuplicatePage(0x%x)", Addr);
                        paddr = MM_DuplicatePage( Addr );
                        MM_DerefPhys( gaPageTable[Addr>>12] & ~0xFFF );
                        gaPageTable[Addr>>12] &= PF_USER;
@@ -154,7 +208,7 @@ void MM_PageFault(tVAddr Addr, Uint ErrorCode, tRegs *Regs)
                        (ErrorCode&1?"bad/locked":"non-present"),
                        (ErrorCode&16?" (Instruction Fetch)":"")
                        );
-               Warning("User Pagefault: Instruction at %p accessed %p", Regs->eip, Addr);
+               Warning("User Pagefault: Instruction at %04x:%08x accessed %p", Regs->cs, Regs->eip, Addr);
                __asm__ __volatile__ ("sti");   // Restart IRQs
                Threads_SegFault(Addr);
                return ;
@@ -276,7 +330,7 @@ tPAddr MM_Allocate(tVAddr VAddr)
                //LOG("paddr = 0x%llx (new table)", paddr);
                if( paddr == 0 ) {
                        Warning("MM_Allocate - Out of Memory (Called by %p)", __builtin_return_address(0));
-                       LEAVE('i',0);
+                       //LEAVE('i',0);
                        return 0;
                }
                // Map
@@ -458,7 +512,7 @@ tVAddr MM_ClearUser()
        }
        INVLPG( gaPageDir );
        
-       return *gaPageCR3;
+       return *gpPageCR3;
 }
 
 /**
@@ -476,13 +530,13 @@ tPAddr MM_Clone()
        LOCK( &gilTempFractal );
        
        // Create Directory Table
-       *gTmpCR3 = MM_AllocPhys() | 3;
+       *gpTmpCR3 = MM_AllocPhys() | 3;
        INVLPG( gaTmpDir );
-       //LOG("Allocated Directory (%x)", *gTmpCR3);
+       //LOG("Allocated Directory (%x)", *gpTmpCR3);
        memsetd( gaTmpDir, 0, 1024 );
        
        // Copy Tables
-       for(i=0;i<768;i++)
+       for( i = 0; i < 768; i ++)
        {
                // Check if table is allocated
                if( !(gaPageDir[i] & PF_PRESENT) ) {
@@ -520,7 +574,7 @@ tPAddr MM_Clone()
        {
                // Fractal
                if( i == (PAGE_TABLE_ADDR >> 22) ) {
-                       gaTmpDir[ PAGE_TABLE_ADDR >> 22 ] = *gTmpCR3;
+                       gaTmpDir[ PAGE_TABLE_ADDR >> 22 ] = *gpTmpCR3;
                        continue;
                }
                
@@ -580,7 +634,7 @@ tPAddr MM_Clone()
                }
        }
        
-       ret = *gTmpCR3 & ~0xFFF;
+       ret = *gpTmpCR3 & ~0xFFF;
        RELEASE( &gilTempFractal );
        
        //LEAVE('x', ret);
@@ -656,8 +710,8 @@ tVAddr MM_NewWorkerStack()
        LOCK(&gilTempFractal);
        
        // Set the temp fractals to TID0's address space
-       *gTmpCR3 = ((Uint)gaInitPageDir - KERNEL_BASE) | 3;
-       //Log(" MM_NewWorkerStack: *gTmpCR3 = 0x%x", *gTmpCR3);
+       *gpTmpCR3 = ((Uint)gaInitPageDir - KERNEL_BASE) | 3;
+       //Log(" MM_NewWorkerStack: *gpTmpCR3 = 0x%x", *gpTmpCR3);
        INVLPG( gaTmpDir );
        
        
@@ -675,7 +729,7 @@ tVAddr MM_NewWorkerStack()
                pages[ addr >> 12 ] = MM_AllocPhys();
                gaTmpTable[ (base + addr) >> 12 ] = pages[addr>>12] | 3;
        }
-       *gTmpCR3 = 0;
+       *gpTmpCR3 = 0;
        // Release the temp mapping lock
        RELEASE(&gilTempFractal);
        
@@ -760,6 +814,8 @@ tPAddr MM_DuplicatePage(tVAddr VAddr)
        Uint    temp;
         int    wasRO = 0;
        
+       //ENTER("xVAddr", VAddr);
+       
        // Check if mapped
        if( !(gaPageDir  [VAddr >> 22] & PF_PRESENT) )  return 0;
        if( !(gaPageTable[VAddr >> 12] & PF_PRESENT) )  return 0;
@@ -784,6 +840,7 @@ tPAddr MM_DuplicatePage(tVAddr VAddr)
        if(!wasRO)      gaPageTable[VAddr >> 12] |= PF_WRITE;
        INVLPG(VAddr);
        
+       //LEAVE('X', ret);
        return ret;
 }
 
@@ -838,10 +895,10 @@ void MM_FreeTemp(tVAddr VAddr)
 }
 
 /**
- * \fn tVAddr MM_MapHWPage(tPAddr PAddr, Uint Number)
+ * \fn tVAddr MM_MapHWPages(tPAddr PAddr, Uint Number)
  * \brief Allocates a contigous number of pages
  */
-tVAddr MM_MapHWPage(tPAddr PAddr, Uint Number)
+tVAddr MM_MapHWPages(tPAddr PAddr, Uint Number)
 {
         int    i, j;
        
@@ -905,7 +962,7 @@ tVAddr MM_AllocDMA(int Pages, int MaxBits, tPAddr *PhysAddr)
        {
                phys = MM_AllocPhys();
                *PhysAddr = phys;
-               ret = MM_MapHWPage(phys, 1);
+               ret = MM_MapHWPages(phys, 1);
                if(ret == 0) {
                        MM_DerefPhys(phys);
                        LEAVE('i', 0);
@@ -916,24 +973,15 @@ tVAddr MM_AllocDMA(int Pages, int MaxBits, tPAddr *PhysAddr)
        }
        
        // Slow Allocate
-       phys = MM_AllocPhysRange(Pages);
+       phys = MM_AllocPhysRange(Pages, MaxBits);
        // - Was it allocated?
        if(phys == 0) {
                LEAVE('i', 0);
                return 0;
        }
-       // - Check if the memory is OK
-       if(phys + (Pages-1)*0x1000 > maxCheck)
-       {
-               // Deallocate and return 0
-               for(;Pages--;phys+=0x1000)
-                       MM_DerefPhys(phys);
-               LEAVE('i', 0);
-               return 0;
-       }
        
        // Allocated successfully, now map
-       ret = MM_MapHWPage(phys, Pages);
+       ret = MM_MapHWPages(phys, Pages);
        if( ret == 0 ) {
                // If it didn't map, free then return 0
                for(;Pages--;phys+=0x1000)
@@ -948,10 +996,10 @@ tVAddr MM_AllocDMA(int Pages, int MaxBits, tPAddr *PhysAddr)
 }
 
 /**
- * \fn void MM_UnmapHWPage(tVAddr VAddr, Uint Number)
+ * \fn void MM_UnmapHWPages(tVAddr VAddr, Uint Number)
  * \brief Unmap a hardware page
  */
-void MM_UnmapHWPage(tVAddr VAddr, Uint Number)
+void MM_UnmapHWPages(tVAddr VAddr, Uint Number)
 {
         int    i, j;
        // Sanity Check
@@ -974,6 +1022,6 @@ void MM_UnmapHWPage(tVAddr VAddr, Uint Number)
 EXPORT(MM_GetPhysAddr);
 EXPORT(MM_Map);
 //EXPORT(MM_Unmap);
-EXPORT(MM_MapHWPage);
+EXPORT(MM_MapHWPages);
 EXPORT(MM_AllocDMA);
-EXPORT(MM_UnmapHWPage);
+EXPORT(MM_UnmapHWPages);

UCC git Repository :: git.ucc.asn.au