Kernel/x86_64 - Fixed Kernel not using COW, cleanup
[tpg/acess2.git] / Kernel / arch / x86 / mm_phys.c
index 29c280d..0731836 100644 (file)
@@ -1,4 +1,4 @@
-"/*
+/*
  * Acess2
  * - Physical memory manager
  */
 //#define USE_STACK    1
 #define TRACE_ALLOCS   0       // Print trace messages on AllocPhys/DerefPhys
 
-#define        REFERENCE_BASE  0xE0400000
 
 // === IMPORTS ===
 extern void    gKernelEnd;
+extern void    Proc_PrintBacktrace(void);
 
 // === PROTOTYPES ===
 void   MM_Install(tMBoot_Info *MBoot);
@@ -31,7 +31,9 @@ Uint64        giLastPossibleFree = 0; // Last possible free page (before all pages are
 
 Uint32 gaSuperBitmap[1024];    // Blocks of 1024 Pages
 Uint32 gaPageBitmap[1024*1024/32];     // Individual pages
-Uint32 *gaPageReferences;
+ int   *gaPageReferences;
+void   **gaPageNodes = (void*)MM_PAGENODE_BASE;
+#define REFENT_PER_PAGE        (0x1000/sizeof(gaPageReferences[0]))
 
 // === CODE ===
 void MM_Install(tMBoot_Info *MBoot)
@@ -104,26 +106,10 @@ void MM_Install(tMBoot_Info *MBoot)
                while(num--)
                        MM_RefPhys( (mods[i].Start & ~0xFFF) + (num<<12) );
        }
-       
-       // Allocate References
-       //LOG("Reference Pages %i", (giPageCount*4+0xFFF)>>12);
-       for(num = 0; num < (giPageCount*4+0xFFF)>>12; num++)
-       {
-               if( !MM_Allocate( REFERENCE_BASE + (num<<12) ) )
-               {
-                       Panic("Oh, ****, no space for the reference pages, that's bad");
-                       for(;;);
-               }
-       }
-       
-       //LOG("Filling");
-       // Fill references
-       gaPageReferences = (void*)REFERENCE_BASE;
-       memsetd(gaPageReferences, 1, kernelPages);
-       for( num = kernelPages; num < giPageCount; num++ )
-       {
-               gaPageReferences[num] = (gaPageBitmap[ num / 32 ] >> (num&31)) & 1;
-       }
+
+       gaPageReferences = (void*)MM_REFCOUNT_BASE;
+
+       Log_Log("PMem", "Physical memory set up");
 }
 
 /**
@@ -149,7 +135,6 @@ tPAddr MM_AllocPhys(void)
         int    first, last;
        for( i = numAddrClasses; i -- > 1; )
        {
-//             Log("Scanning %i (%i bits)", i, addrClasses[i]);
                first = 1 << (addrClasses[i-1] - 12);
                last = (1 << (addrClasses[i] - 12)) - 1;
                // Range is above the last free page
@@ -159,11 +144,9 @@ tPAddr MM_AllocPhys(void)
                if( last > giLastPossibleFree )
                        last = giLastPossibleFree;
                        
-//             Log(" first=%i,max=%i", first, last);
                // Scan the range
                for( indx = first; indx < last; )
                {
-//                     Log("indx = %i (< %i?)", indx, last);
                        if( gaSuperBitmap[indx>>10] == -1 ) {
                                indx += 1024;
                                continue;
@@ -186,7 +169,6 @@ tPAddr MM_AllocPhys(void)
        }
        // Out of memory?
        if( i <= 1 )    indx = -1;
-//     Log("indx = %i", indx);
        }
        #elif 0
        // Find free page
@@ -256,8 +238,8 @@ tPAddr MM_AllocPhys(void)
        }
        
        // Mark page used
-       if(gaPageReferences)
-               gaPageReferences[ indx ] = 1;
+       if( MM_GetPhysAddr( (tVAddr)&gaPageReferences[indx] ) )
+               gaPageReferences[indx] = 1;
        gaPageBitmap[ indx>>5 ] |= 1 << (indx&31);
        
        giPhysAlloc ++;
@@ -275,7 +257,10 @@ tPAddr MM_AllocPhys(void)
        
        LEAVE('X', ret);
        #if TRACE_ALLOCS
-       Log_Debug("PMem", "MM_AllocPhys: RETURN 0x%llx (%i free)", ret, giPageCount-giPhysAlloc);
+       if( now() > 4000 ) {
+       Log_Debug("PMem", "MM_AllocPhys: RETURN %P (%i free)", ret, giPageCount-giPhysAlloc);
+       Proc_PrintBacktrace();
+       }
        #endif
        return ret;
 }
@@ -389,7 +374,7 @@ tPAddr MM_AllocPhysRange(int Pages, int MaxBits)
        // Mark pages used
        for( i = 0; i < Pages; i++ )
        {
-               if(gaPageReferences)
+               if( MM_GetPhysAddr( (tVAddr)&gaPageReferences[idx*32+sidx] ) )
                        gaPageReferences[idx*32+sidx] = 1;
                gaPageBitmap[ idx ] |= 1 << sidx;
                sidx ++;
@@ -421,7 +406,7 @@ void MM_RefPhys(tPAddr PAddr)
 {
        // Get page number
        PAddr >>= 12;
-       
+
        // We don't care about non-ram pages
        if(PAddr >= giPageCount)        return;
        
@@ -429,8 +414,26 @@ void MM_RefPhys(tPAddr PAddr)
        Mutex_Acquire( &glPhysAlloc );
        
        // Reference the page
-       if(gaPageReferences)
+       if( gaPageReferences )
+       {
+               if( MM_GetPhysAddr( (tVAddr)&gaPageReferences[PAddr] ) == 0 )
+               {
+                        int    i, base;
+                       tVAddr  addr = ((tVAddr)&gaPageReferences[PAddr]) & ~0xFFF;
+//                     Log_Debug("PMem", "MM_RefPhys: Allocating info for %X", PAddr);
+                       Mutex_Release( &glPhysAlloc );
+                       if( MM_Allocate( addr ) == 0 ) {
+                               Log_KernelPanic("PMem", "MM_RefPhys: Out of physical memory allocating info for %X", PAddr*PAGE_SIZE);
+                       }
+                       Mutex_Acquire( &glPhysAlloc );
+                       
+                       base = PAddr & ~(1024-1);
+                       for( i = 0; i < 1024; i ++ ) {
+                               gaPageReferences[base + i] = (gaPageBitmap[(base+i)/32] & (1 << (base+i)%32)) ? 1 : 0;
+                       }
+               }
                gaPageReferences[ PAddr ] ++;
+       }
        
        // Mark as used
        gaPageBitmap[ PAddr / 32 ] |= 1 << (PAddr&31);
@@ -451,13 +454,13 @@ void MM_DerefPhys(tPAddr PAddr)
 {
        // Get page number
        PAddr >>= 12;
-       
+
        // We don't care about non-ram pages
        if(PAddr >= giPageCount)        return;
        
        // Check if it is freed
-       if(gaPageReferences[ PAddr ] == 0) {
-               Warning("MM_DerefPhys - Non-referenced memory dereferenced");
+       if( !(gaPageBitmap[PAddr / 32] & (1 << PAddr%32)) ) {
+               Log_Warning("MMVirt", "MM_DerefPhys - Non-referenced memory dereferenced");
                return;
        }
        
@@ -468,21 +471,25 @@ void MM_DerefPhys(tPAddr PAddr)
                giLastPossibleFree = PAddr;
 
        // Dereference
-       gaPageReferences[ PAddr ] --;
-       
-       // Mark as free in bitmaps
-       if( gaPageReferences[ PAddr ] == 0 )
+       if( !MM_GetPhysAddr( (tVAddr)&gaPageReferences[PAddr] ) || (-- gaPageReferences[PAddr]) == 0 )
        {
                #if TRACE_ALLOCS
-               Log_Debug("PMem", "MM_DerefPhys: Free'd 0x%x (%i free)", PAddr, giPageCount-giPhysAlloc);
+               Log_Debug("PMem", "MM_DerefPhys: Free'd %P (%i free)", PAddr<<12, giPageCount-giPhysAlloc);
+               Proc_PrintBacktrace();
                #endif
                //LOG("Freed 0x%x by %p\n", PAddr<<12, __builtin_return_address(0));
                giPhysAlloc --;
                gaPageBitmap[ PAddr / 32 ] &= ~(1 << (PAddr&31));
-               if(gaPageReferences[ PAddr ] == 0)
+               if(gaPageBitmap[ PAddr / 32 ] == 0)
                        gaSuperBitmap[ PAddr >> 10 ] &= ~(1 << ((PAddr >> 5)&31));
+
+               if( MM_GetPhysAddr( (tVAddr) &gaPageNodes[PAddr] ) )
+               {
+                       gaPageNodes[PAddr] = NULL;
+                       // TODO: Free Node Page when fully unused
+               }
        }
-       
+
        // Release spinlock
        Mutex_Release( &glPhysAlloc );
 }
@@ -497,7 +504,49 @@ int MM_GetRefCount(tPAddr PAddr)
        
        // We don't care about non-ram pages
        if(PAddr >= giPageCount)        return -1;
+
+       if( MM_GetPhysAddr( (tVAddr)&gaPageReferences[PAddr] ) == 0 )
+               return (gaPageBitmap[PAddr / 32] & (1 << PAddr%32)) ? 1 : 0;
        
        // Check if it is freed
        return gaPageReferences[ PAddr ];
 }
+
+int MM_SetPageNode(tPAddr PAddr, void *Node)
+{
+       tVAddr  block_addr;
+       
+       if( MM_GetRefCount(PAddr) == 0 )        return 1;
+        
+       PAddr /= PAGE_SIZE;
+
+       block_addr = (tVAddr) &gaPageNodes[PAddr];
+       block_addr &= ~(PAGE_SIZE-1);
+       
+       if( !MM_GetPhysAddr( block_addr ) )
+       {
+               if( !MM_Allocate( block_addr ) ) {
+                       Log_Warning("PMem", "Unable to allocate Node page");
+                       return -1;
+               }
+               memset( (void*)block_addr, 0, PAGE_SIZE );
+       }
+
+       gaPageNodes[PAddr] = Node;
+//     Log("gaPageNodes[0x%x] = %p", PAddr, Node);
+       return 0;
+}
+
+int MM_GetPageNode(tPAddr PAddr, void **Node)
+{
+       if( MM_GetRefCount(PAddr) == 0 )        return 1;
+       
+       PAddr /= PAGE_SIZE;
+       if( !MM_GetPhysAddr( (tVAddr) &gaPageNodes[PAddr] ) ) {
+               *Node = NULL;
+               return 0;
+       }
+       *Node = gaPageNodes[PAddr];
+       return 0;
+}
+

UCC git Repository :: git.ucc.asn.au