Bugfixing the x86_64 port
[tpg/acess2.git] / Kernel / arch / x86_64 / mm_virt.c
index f6e798c..bc9e8f6 100644 (file)
@@ -3,6 +3,7 @@
  * 
  * Virtual Memory Manager
  */
+#define DEBUG  0
 #include <acess.h>
 #include <mm_virt.h>
 #include <proc.h>
@@ -32,6 +33,8 @@
 #define PAGEDIRPTR(idx)        PAGEDIR((MM_FRACTAL_BASE>>21)+((idx)&PDP_MASK))
 #define PAGEMAPLVL4(idx)       PAGEDIRPTR((MM_FRACTAL_BASE>>30)+((idx)&PML4_MASK))
 
+#define INVLPG(__addr) __asm__ __volatile__ ("invlpg (%0)"::"r"(__addr));
+
 // === PROTOTYPES ===
 void   MM_InitVirt(void);
 void   MM_FinishVirtualInit(void);
@@ -44,6 +47,7 @@ void  MM_DumpTables(tVAddr Start, tVAddr End);
 // === CODE ===
 void MM_InitVirt(void)
 {
+       MM_DumpTables(0, -1L);
 }
 
 void MM_FinishVirtualInit(void)
@@ -116,6 +120,10 @@ void MM_PageFault(tVAddr Addr, Uint ErrorCode, tRegs *Regs)
 //     Error_Backtrace(Regs->RIP, Regs->RBP);
        
        MM_DumpTables(0, -1);
+       
+       __asm__ __volatile__ ("cli");
+       for( ;; )
+               HALT();
 }
 
 /**
@@ -123,19 +131,31 @@ void MM_PageFault(tVAddr Addr, Uint ErrorCode, tRegs *Regs)
  */
 void MM_DumpTables(tVAddr Start, tVAddr End)
 {
+       const tPAddr    CHANGEABLE_BITS = 0xFF8;
+       const tPAddr    MASK = ~CHANGEABLE_BITS;        // Physical address and access bits
        tVAddr  rangeStart = 0;
-       tPAddr  expected = 0;
+       tPAddr  expected = CHANGEABLE_BITS;     // MASK is used because it's not a vaild value
        tVAddr  curPos;
        Uint    page;
-       const tPAddr    MASK = ~0xF98;  // Physical address and access bits
+       
+       Log("Table Entries: (%p to %p)", Start, End);
+       
+       End &= (1L << 48) - 1;
        
        Start >>= 12;   End >>= 12;
        
-       Log("Table Entries:");
        for(page = Start, curPos = Start<<12;
-               page < (End & (((tVAddr)1 << 48)-1));
+               page < End;
                curPos += 0x1000, page++)
        {
+               if( curPos == 0x800000000000L )
+                       curPos = 0xFFFF800000000000L;
+               
+               //Debug("&PAGEMAPLVL4(%i page>>27) = %p", page>>27, &PAGEMAPLVL4(page>>27));
+               //Debug("&PAGEDIRPTR(%i page>>18) = %p", page>>18, &PAGEDIRPTR(page>>18));
+               //Debug("&PAGEDIR(%i page>>9) = %p", page>>9, &PAGEDIR(page>>9));
+               //Debug("&PAGETABLE(%i page) = %p", page, &PAGETABLE(page));
+               
                // End of a range
                if(
                        !(PAGEMAPLVL4(page>>27) & PF_PRESENT)
@@ -143,32 +163,48 @@ void MM_DumpTables(tVAddr Start, tVAddr End)
                ||      !(PAGEDIR(page>>9) & PF_PRESENT)
                ||  !(PAGETABLE(page) & PF_PRESENT)
                ||  (PAGETABLE(page) & MASK) != expected)
-               {
-                       if(expected) {
-                               Log(" 0x%08x-0x%08x => 0x%08x-0x%08x (%s%s%s%s)",
+               {                       
+                       if(expected != CHANGEABLE_BITS) {
+                               Log("%016x-0x%016x => %013x-%013x (%c%c%c%c)",
                                        rangeStart, curPos - 1,
                                        PAGETABLE(rangeStart>>12) & ~0xFFF,
                                        (expected & ~0xFFF) - 1,
-                                       (expected & PF_PAGED ? "p" : "-"),
-                                       (expected & PF_COW ? "C" : "-"),
-                                       (expected & PF_USER ? "U" : "-"),
-                                       (expected & PF_WRITE ? "W" : "-")
+                                       (expected & PF_PAGED ? 'p' : '-'),
+                                       (expected & PF_COW ? 'C' : '-'),
+                                       (expected & PF_USER ? 'U' : '-'),
+                                       (expected & PF_WRITE ? 'W' : '-')
                                        );
-                               expected = 0;
+                               expected = CHANGEABLE_BITS;
+                       }
+                       if( !(PAGEMAPLVL4(page>>27) & PF_PRESENT) ) {
+                               page += (1 << 27) - 1;
+                               curPos += (1L << 39) - 0x1000;
+                               //Debug("pml4 ent unset (page = 0x%x now)", page);
+                               continue;
+                       }
+                       if( !(PAGEDIRPTR(page>>18) & PF_PRESENT) ) {
+                               page += (1 << 18) - 1;
+                               curPos += (1L << 30) - 0x1000;
+                               //Debug("pdp ent unset (page = 0x%x now)", page);
+                               continue;
+                       }
+                       if( !(PAGEDIR(page>>9) & PF_PRESENT) ) {
+                               page += (1 << 9) - 1;
+                               curPos += (1L << 21) - 0x1000;
+                               //Debug("pd ent unset (page = 0x%x now)", page);
+                               continue;
                        }
-                       if( !(PAGEMAPLVL4(page>>27) & PF_PRESENT) )     continue;
-                       if( !(PAGEDIRPTR(page>>18) & PF_PRESENT) )      continue;
-                       if( !(PAGEDIR(page>>9) & PF_PRESENT) )  continue;
                        if( !(PAGETABLE(page) & PF_PRESENT) )   continue;
                        
                        expected = (PAGETABLE(page) & MASK);
                        rangeStart = curPos;
                }
-               if(expected)    expected += 0x1000;
+               if(expected != CHANGEABLE_BITS)
+                       expected += 0x1000;
        }
        
-       if(expected) {
-               Log("0x%08x-0x%08x => 0x%08x-0x%08x (%s%s%s%s)",
+       if(expected != CHANGEABLE_BITS) {
+               Log("%016x-%016x => %013x-%013x (%s%s%s%s)",
                        rangeStart, curPos - 1,
                        PAGETABLE(rangeStart>>12) & ~0xFFF,
                        (expected & ~0xFFF) - 1,
@@ -188,7 +224,7 @@ int MM_Map(tVAddr VAddr, tPAddr PAddr)
 {
        tPAddr  tmp;
        
-       Log("MM_Map: (VAddr=0x%x, PAddr=0x%x)", VAddr, PAddr);
+       ENTER("xVAddr xPAddr", VAddr, PAddr);
        
        // Check PML4
        //Log(" MM_Map: &PAGEMAPLVL4(%x) = %x", VAddr >> 39, &PAGEMAPLVL4(VAddr >> 39));
@@ -201,6 +237,7 @@ int MM_Map(tVAddr VAddr, tPAddr PAddr)
                tmp = MM_AllocPhys();
                if(!tmp)        return 0;
                PAGEMAPLVL4(VAddr >> 39) = tmp | 3;
+               INVLPG( &PAGEDIRPTR( (VAddr>>39)<<9 ) );
                memset( &PAGEDIRPTR( (VAddr>>39)<<9 ), 0, 4096 );
        }
        
@@ -210,7 +247,8 @@ int MM_Map(tVAddr VAddr, tPAddr PAddr)
                tmp = MM_AllocPhys();
                if(!tmp)        return 0;
                PAGEDIRPTR(VAddr >> 30) = tmp | 3;
-               memset( &PAGEDIR( (VAddr>>30)<<9 ), 0, 4096 );
+               INVLPG( &PAGEDIR( (VAddr>>30)<<9 ) );
+               memset( &PAGEDIR( (VAddr>>30)<<9 ), 0, 0x1000 );
        }
        
        // Check Page Dir
@@ -219,6 +257,7 @@ int MM_Map(tVAddr VAddr, tPAddr PAddr)
                tmp = MM_AllocPhys();
                if(!tmp)        return 0;
                PAGEDIR(VAddr >> 21) = tmp | 3;
+               INVLPG( &PAGETABLE( (VAddr>>21)<<9 ) );
                memset( &PAGETABLE( (VAddr>>21)<<9 ), 0, 4096 );
        }
        
@@ -228,8 +267,9 @@ int MM_Map(tVAddr VAddr, tPAddr PAddr)
        
        PAGETABLE(VAddr >> PTAB_SHIFT) = PAddr | 3;
        
-       Log("MM_Map: RETURN 1");
-       
+       INVLPG( VAddr );
+
+       LEAVE('i', 1);  
        return 1;
 }
 
@@ -246,6 +286,7 @@ void MM_Unmap(tVAddr VAddr)
        if( !(PAGEDIR(VAddr >> 21) & 1) )       return ;
        
        PAGETABLE(VAddr >> PTAB_SHIFT) = 0;
+       INVLPG( VAddr );
 }
 
 /**
@@ -255,19 +296,35 @@ tPAddr MM_Allocate(tVAddr VAddr)
 {
        tPAddr  ret;
        
-       Log("MM_Allocate: (VAddr=%x)", VAddr);
-       Log("MM_Allocate: MM_AllocPhys()");
+       ENTER("xVAddr", VAddr);
+       
+       // NOTE: This is hack, but I like my dumps to be neat
+       #if 1
+       if( !MM_Map(VAddr, 0) ) // Make sure things are allocated
+       {
+               Warning("MM_Allocate: Unable to map, tables did not initialise");
+               LEAVE('i', 0);
+               return 0;
+       }
+       MM_Unmap(VAddr);
+       #endif
+       
        ret = MM_AllocPhys();
-       Log("MM_Allocate: ret = %x", ret);
-       if(!ret)        return 0;
+       LOG("ret = %x", ret);
+       if(!ret) {
+               LEAVE('i', 0);
+               return 0;
+       }
        
        if( !MM_Map(VAddr, ret) )
        {
-               Warning("MM_Allocate: Unable to map", ret);
+               Warning("MM_Allocate: Unable to map. Strange, we should have errored earlier");
                MM_DerefPhys(ret);
+               LEAVE('i');
                return 0;
        }
        
+       LEAVE('x', ret);
        return ret;
 }
 
@@ -288,19 +345,14 @@ void MM_Deallocate(tVAddr VAddr)
  */
 tPAddr MM_GetPhysAddr(tVAddr Addr)
 {
-       Log("MM_GetPhysAddr: (Addr=0x%x)", Addr);
        if( !(PAGEMAPLVL4(Addr >> 39) & 1) )
                return 0;
-       Log(" MM_GetPhysAddr: PDP Valid");
        if( !(PAGEDIRPTR(Addr >> 30) & 1) )
                return 0;
-       Log(" MM_GetPhysAddr: PD Valid");
        if( !(PAGEDIR(Addr >> 21) & 1) )
                return 0;
-       Log(" MM_GetPhysAddr: PT Valid");
        if( !(PAGETABLE(Addr >> PTAB_SHIFT) & 1) )
                return 0;
-       Log(" MM_GetPhysAddr: Page Valid");
        
        return (PAGETABLE(Addr >> PTAB_SHIFT) & ~0xFFF) | (Addr & 0xFFF);
 }
@@ -446,6 +498,8 @@ tPAddr MM_Clone(void)
        ret = MM_AllocPhys();
        if(!ret)        return 0;
        
+       Log_KernelPanic("MM", "TODO: Implement MM_Clone");
+       
        // #2 Alter the fractal pointer
        // #3 Set Copy-On-Write to all user pages
        // #4 Return
@@ -507,10 +561,28 @@ void MM_ClearUser(void)
 
 tVAddr MM_NewWorkerStack(void)
 {
+       Log_KernelPanic("MM", "TODO: Implement MM_NewWorkerStack");
        return 0;
 }
 
+/**
+ * \brief Allocate a new kernel stack
+ */
 tVAddr MM_NewKStack(void)
 {
+       tVAddr  base = MM_KSTACK_BASE;
+       Uint    i;
+       for( ; base < MM_KSTACK_TOP; base += KERNEL_STACK_SIZE )
+       {
+               if(MM_GetPhysAddr(base) != 0)
+                       continue;
+               
+               Log("MM_NewKStack: Found one at %p", base + KERNEL_STACK_SIZE);
+               for( i = 0; i < KERNEL_STACK_SIZE; i += 0x1000)
+                       MM_Allocate(base+i);
+               
+               return base + KERNEL_STACK_SIZE;
+       }
+       Log_Warning("MM", "MM_NewKStack - No address space left\n");
        return 0;
 }

UCC git Repository :: git.ucc.asn.au