Cleanup and Bugfixing
[tpg/acess2.git] / Kernel / arch / x86 / mm_virt.c
index c930947..9892998 100644 (file)
 #include <mm_phys.h>
 #include <proc.h>
 
-#define KERNEL_STACKS  0xF0000000
+#define KERNEL_STACKS          0xF0000000
 #define        KERNEL_STACK_SIZE       0x00002000
-#define KERNEL_STACK_END       0xFD000000
+#define KERNEL_STACKS_END      0xFD000000
+#define WORKER_STACKS          0x00100000      // Thread0 Only!
+#define        WORKER_STACK_SIZE       KERNEL_STACK_SIZE
+#define WORKER_STACKS_END      0xB0000000
+#define        NUM_WORKER_STACKS       ((WORKER_STACKS_END-WORKER_STACKS)/WORKER_STACK_SIZE)
 #define PAGE_TABLE_ADDR        0xFD000000
 #define PAGE_DIR_ADDR  0xFD3F4000
 #define PAGE_CR3_ADDR  0xFD3F4FD0
 // === IMPORTS ===
 extern Uint32  gaInitPageDir[1024];
 extern Uint32  gaInitPageTable[1024];
-extern void    Threads_SegFault(Uint Addr);
+extern void    Threads_SegFault(tVAddr Addr);
 extern void    Error_Backtrace(Uint eip, Uint ebp);
 
 // === PROTOTYPES ===
 void   MM_PreinitVirtual();
 void   MM_InstallVirtual();
-void   MM_PageFault(Uint Addr, Uint ErrorCode, tRegs *Regs);
+void   MM_PageFault(tVAddr Addr, Uint ErrorCode, tRegs *Regs);
 void   MM_DumpTables(tVAddr Start, tVAddr End);
-tPAddr MM_DuplicatePage(Uint VAddr);
+tPAddr MM_DuplicatePage(tVAddr VAddr);
 
 // === GLOBALS ===
 tPAddr *gaPageTable = (void*)PAGE_TABLE_ADDR;
@@ -58,6 +62,9 @@ tPAddr        *gaTmpTable = (void*)TMP_TABLE_ADDR;
 tPAddr *gaTmpDir = (void*)TMP_DIR_ADDR;
 tPAddr *gTmpCR3 = (void*)TMP_CR3_ADDR;
  int   gilTempMappings = 0;
+ int   gilTempFractal = 0;
+Uint32 gWorkerStacks[(NUM_WORKER_STACKS+31)/32];
+ int   giLastUsedWorker = 0;
 
 // === CODE ===
 /**
@@ -83,7 +90,7 @@ void MM_InstallVirtual()
        {
                if( gaPageDir[ i ] )    continue;
                // Skip stack tables, they are process unique
-               if( i > KERNEL_STACKS >> 22 && i < KERNEL_STACK_END >> 22) {
+               if( i > KERNEL_STACKS >> 22 && i < KERNEL_STACKS_END >> 22) {
                        gaPageDir[ i ] = 0;
                        continue;
                }
@@ -95,10 +102,10 @@ void MM_InstallVirtual()
 }
 
 /**
- * \fn void MM_PageFault(Uint Addr, Uint ErrorCode, tRegs *Regs)
+ * \fn void MM_PageFault(tVAddr Addr, Uint ErrorCode, tRegs *Regs)
  * \brief Called on a page fault
  */
-void MM_PageFault(Uint Addr, Uint ErrorCode, tRegs *Regs)
+void MM_PageFault(tVAddr Addr, Uint ErrorCode, tRegs *Regs)
 {
        //ENTER("xAddr bErrorCode", Addr, ErrorCode);
        
@@ -128,6 +135,12 @@ void MM_PageFault(Uint Addr, Uint ErrorCode, tRegs *Regs)
        
        // If it was a user, tell the thread handler
        if(ErrorCode & 4) {
+               Warning("%s %s %s memory%s",
+                       (ErrorCode&4?"User":"Kernel"),
+                       (ErrorCode&2?"write to":"read from"),
+                       (ErrorCode&1?"bad/locked":"non-present"),
+                       (ErrorCode&16?" (Instruction Fetch)":"")
+                       );
                Warning("User Pagefault: Instruction at %p accessed %p", Regs->eip, Addr);
                __asm__ __volatile__ ("sti");   // Restart IRQs
                Threads_SegFault(Addr);
@@ -161,7 +174,7 @@ void MM_PageFault(Uint Addr, Uint ErrorCode, tRegs *Regs)
 }
 
 /**
- * \fn void MM_DumpTables(Uint Start, Uint End)
+ * \fn void MM_DumpTables(tVAddr Start, tVAddr End)
  * \brief Dumps the layout of the page tables
  */
 void MM_DumpTables(tVAddr Start, tVAddr End)
@@ -235,9 +248,9 @@ void MM_DumpTables(tVAddr Start, tVAddr End)
 }
 
 /**
- * \fn tPAddr MM_Allocate(Uint VAddr)
+ * \fn tPAddr MM_Allocate(tVAddr VAddr)
  */
-tPAddr MM_Allocate(Uint VAddr)
+tPAddr MM_Allocate(tVAddr VAddr)
 {
        tPAddr  paddr;
        // Check if the directory is mapped
@@ -281,9 +294,9 @@ tPAddr MM_Allocate(Uint VAddr)
 }
 
 /**
- * \fn void MM_Deallocate(Uint VAddr)
+ * \fn void MM_Deallocate(tVAddr VAddr)
  */
-void MM_Deallocate(Uint VAddr)
+void MM_Deallocate(tVAddr VAddr)
 {
        if( gaPageDir[ VAddr >> 22 ] == 0 ) {
                Warning("MM_Deallocate - Directory not mapped");
@@ -302,10 +315,10 @@ void MM_Deallocate(Uint VAddr)
 }
 
 /**
- * \fn tPAddr MM_GetPhysAddr(Uint Addr)
+ * \fn tPAddr MM_GetPhysAddr(tVAddr Addr)
  * \brief Checks if the passed address is accesable
  */
-tPAddr MM_GetPhysAddr(Uint Addr)
+tPAddr MM_GetPhysAddr(tVAddr Addr)
 {
        if( !(gaPageDir[Addr >> 22] & 1) )
                return 0;
@@ -314,20 +327,36 @@ tPAddr MM_GetPhysAddr(Uint Addr)
        return (gaPageTable[Addr >> 12] & ~0xFFF) | (Addr & 0xFFF);
 }
 
+
+/**
+ * \fn int MM_IsUser(tVAddr Addr)
+ * \brief Checks if a page is user accessable
+ */
+int MM_IsUser(tVAddr Addr)
+{
+       if( !(gaPageDir[Addr >> 22] & 1) )
+               return 0;
+       if( !(gaPageTable[Addr >> 12] & 1) )
+               return 0;
+       if( !(gaPageTable[Addr >> 12] & PF_USER) )
+               return 0;
+       return 1;
+}
+
 /**
- * \fn void MM_SetCR3(Uint CR3)
+ * \fn void MM_SetCR3(tPAddr CR3)
  * \brief Sets the current process space
  */
-void MM_SetCR3(Uint CR3)
+void MM_SetCR3(tPAddr CR3)
 {
        __asm__ __volatile__ ("mov %0, %%cr3"::"r"(CR3));
 }
 
 /**
- * \fn int MM_Map(Uint VAddr, tPAddr PAddr)
+ * \fn int MM_Map(tVAddr VAddr, tPAddr PAddr)
  * \brief Map a physical page to a virtual one
  */
-int MM_Map(Uint VAddr, tPAddr PAddr)
+int MM_Map(tVAddr VAddr, tPAddr PAddr)
 {
        //ENTER("xVAddr xPAddr", VAddr, PAddr);
        // Sanity check
@@ -377,10 +406,10 @@ int MM_Map(Uint VAddr, tPAddr PAddr)
 }
 
 /**
- * \fn Uint MM_ClearUser()
+ * \fn tVAddr MM_ClearUser()
  * \brief Clear user's address space
  */
-Uint MM_ClearUser()
+tVAddr MM_ClearUser()
 {
        Uint    i, j;
        
@@ -411,17 +440,18 @@ Uint MM_ClearUser()
 }
 
 /**
- * \fn Uint MM_Clone()
+ * \fn tPAddr MM_Clone()
  * \brief Clone the current address space
  */
-Uint MM_Clone()
+tPAddr MM_Clone()
 {
        Uint    i, j;
+       tVAddr  ret;
        Uint    page = 0;
-       Uint    kStackBase = Proc_GetCurThread()->KernelStack - KERNEL_STACK_SIZE;
+       tVAddr  kStackBase = Proc_GetCurThread()->KernelStack - KERNEL_STACK_SIZE;
        void    *tmp;
        
-       //ENTER("");
+       LOCK( &gilTempFractal );
        
        // Create Directory Table
        *gTmpCR3 = MM_AllocPhys() | 3;
@@ -484,7 +514,7 @@ Uint MM_Clone()
        
        // Allocate kernel stack
        for(i = KERNEL_STACKS >> 22;
-               i < KERNEL_STACK_END >> 22;
+               i < KERNEL_STACKS_END >> 22;
                i ++ )
        {
                // Check if directory is allocated
@@ -528,19 +558,22 @@ Uint MM_Clone()
                }
        }
        
-       //LEAVE('x', *gTmpCR3 & ~0xFFF);
-       return *gTmpCR3 & ~0xFFF;
+       ret = *gTmpCR3 & ~0xFFF;
+       RELEASE( &gilTempFractal );
+       
+       //LEAVE('x', ret);
+       return ret;
 }
 
 /**
- * \fn Uint MM_NewKStack()
+ * \fn tVAddr MM_NewKStack()
  * \brief Create a new kernel stack
  */
-Uint MM_NewKStack()
+tVAddr MM_NewKStack()
 {
-       Uint    base = KERNEL_STACKS;
+       tVAddr  base = KERNEL_STACKS;
        Uint    i;
-       for(;base<KERNEL_STACK_END;base+=KERNEL_STACK_SIZE)
+       for(;base<KERNEL_STACKS_END;base+=KERNEL_STACK_SIZE)
        {
                if(MM_GetPhysAddr(base) != 0)   continue;
                for(i=0;i<KERNEL_STACK_SIZE;i+=0x1000) {
@@ -553,10 +586,104 @@ Uint MM_NewKStack()
 }
 
 /**
- * \fn void MM_SetFlags(Uint VAddr, Uint Flags, Uint Mask)
+ * \fn tVAddr MM_NewWorkerStack()
+ * \brief Creates a new worker stack
+ */
+tVAddr MM_NewWorkerStack()
+{
+       Uint    esp, ebp;
+       Uint    oldstack;
+       Uint    base, addr;
+        int    i, j;
+       Uint    *tmpPage;
+       tPAddr  pages[WORKER_STACK_SIZE>>12];
+       
+       // Get the old ESP and EBP
+       __asm__ __volatile__ ("mov %%esp, %0": "=r"(esp));
+       __asm__ __volatile__ ("mov %%ebp, %0": "=r"(ebp));
+       
+       // Find a free worker stack address
+       for(base = giLastUsedWorker; base < NUM_WORKER_STACKS; base++)
+       {
+               // Used block
+               if( gWorkerStacks[base/32] == -1 ) {
+                       base += 31;     base &= ~31;
+                       base --;        // Counteracted by the base++
+                       continue;
+               }
+               // Used stack
+               if( gWorkerStacks[base/32] & (1 << base) ) {
+                       continue;
+               }
+               break;
+       }
+       if(base >= NUM_WORKER_STACKS) {
+               Warning("Uh-oh! Out of worker stacks");
+               return 0;
+       }
+       
+       // It's ours now!
+       gWorkerStacks[base/32] |= (1 << base);
+       // Make life easier for later calls
+       giLastUsedWorker = base;
+       // We have one
+       base = WORKER_STACKS + base * WORKER_STACK_SIZE;
+       
+       // Acquire the lock for the temp fractal mappings
+       LOCK(&gilTempFractal);
+       
+       // Set the temp fractals to TID0's address space
+       *gTmpCR3 = (Uint)gaInitPageDir | 3;
+       INVLPG( gaTmpDir );
+       
+       // Check if the directory is mapped (we are assuming that the stacks
+       // will fit neatly in a directory
+       if(gaTmpDir[ base >> 22 ] == 0) {
+               gaTmpDir[ base >> 22 ] = MM_AllocPhys() | 3;
+               INVLPG( &gaTmpTable[ (base>>22) & ~0x3FF ] );
+       }
+       
+       // Mapping Time!
+       for( addr = 0; addr < WORKER_STACK_SIZE; addr += 0x1000 )
+       {
+               pages[ addr >> 12 ] = MM_AllocPhys();
+               gaTmpTable[ (base + addr) >> 12 ] = pages[addr>>12] | 3;
+       }
+       // Release the temp mapping lock
+       RELEASE(&gilTempFractal);
+       
+       // Copy the old stack
+       oldstack = (esp + KERNEL_STACK_SIZE-1) & ~(KERNEL_STACK_SIZE-1);
+       esp = oldstack - esp;   // ESP as an offset in the stack
+       
+       i = (WORKER_STACK_SIZE>>12) - 1;
+       // Copy the contents of the old stack to the new one, altering the addresses
+       // `addr` is refering to bytes from the stack base (mem downwards)
+       for(addr = 0; addr < esp; addr += 0x1000)
+       {
+               Uint    *stack = (Uint*)( oldstack-(addr+0x1000) );
+               tmpPage = (void*)MM_MapTemp( pages[i] );
+               // Copy old stack
+               for(j = 0; j < 1024; j++)
+               {
+                       // Possible Stack address?
+                       if(oldstack-esp < stack[j] && stack[j] < oldstack)
+                               tmpPage[j] = base - (oldstack - stack[j]);
+                       else    // Seems not, best leave it alone
+                               tmpPage[j] = stack[j];
+               }
+               MM_FreeTemp((Uint)tmpPage);
+               i --;
+       }
+       
+       return base;
+}
+
+/**
+ * \fn void MM_SetFlags(tVAddr VAddr, Uint Flags, Uint Mask)
  * \brief Sets the flags on a page
  */
-void MM_SetFlags(Uint VAddr, Uint Flags, Uint Mask)
+void MM_SetFlags(tVAddr VAddr, Uint Flags, Uint Mask)
 {
        tPAddr  *ent;
        if( !(gaPageDir[VAddr >> 22] & 1) )     return ;
@@ -593,10 +720,10 @@ void MM_SetFlags(Uint VAddr, Uint Flags, Uint Mask)
 }
 
 /**
- * \fn tPAddr MM_DuplicatePage(Uint VAddr)
+ * \fn tPAddr MM_DuplicatePage(tVAddr VAddr)
  * \brief Duplicates a virtual page to a physical one
  */
-tPAddr MM_DuplicatePage(Uint VAddr)
+tPAddr MM_DuplicatePage(tVAddr VAddr)
 {
        tPAddr  ret;
        Uint    temp;
@@ -634,7 +761,7 @@ tPAddr MM_DuplicatePage(Uint VAddr)
  * \brief Create a temporary memory mapping
  * \todo Show Luigi Barone (C Lecturer) and see what he thinks
  */
-Uint MM_MapTemp(tPAddr PAddr)
+tVAddr MM_MapTemp(tPAddr PAddr)
 {
         int    i;
        
@@ -665,10 +792,10 @@ Uint MM_MapTemp(tPAddr PAddr)
 }
 
 /**
- * \fn void MM_FreeTemp(Uint PAddr)
+ * \fn void MM_FreeTemp(tVAddr PAddr)
  * \brief Free's a temp mapping
  */
-void MM_FreeTemp(Uint VAddr)
+void MM_FreeTemp(tVAddr VAddr)
 {
         int    i = VAddr >> 12;
        //ENTER("xVAddr", VAddr);
@@ -680,10 +807,10 @@ void MM_FreeTemp(Uint VAddr)
 }
 
 /**
- * \fn Uint MM_MapHWPage(tPAddr PAddr, Uint Number)
+ * \fn tVAddr MM_MapHWPage(tPAddr PAddr, Uint Number)
  * \brief Allocates a contigous number of pages
  */
-Uint MM_MapHWPage(tPAddr PAddr, Uint Number)
+tVAddr MM_MapHWPage(tPAddr PAddr, Uint Number)
 {
         int    i, j;
        
@@ -718,10 +845,82 @@ Uint MM_MapHWPage(tPAddr PAddr, Uint Number)
 }
 
 /**
- * \fn void MM_UnmapHWPage(Uint VAddr, Uint Number)
+ * \fn tVAddr MM_AllocDMA(int Pages, int MaxBits, tPAddr *PhysAddr)
+ * \brief Allocates DMA physical memory
+ * \param Pages        Number of pages required
+ * \param MaxBits      Maximum number of bits the physical address can have
+ * \param PhysAddr     Pointer to the location to place the physical address allocated
+ * \return Virtual address allocate
+ */
+tVAddr MM_AllocDMA(int Pages, int MaxBits, tPAddr *PhysAddr)
+{
+       tPAddr  maxCheck = (1 << MaxBits);
+       tPAddr  phys;
+       tVAddr  ret;
+       
+       ENTER("iPages iMaxBits pPhysAddr", Pages, MaxBits, PhysAddr);
+       
+       // Sanity Check
+       if(MaxBits < 12 || !PhysAddr) {
+               LEAVE('i', 0);
+               return 0;
+       }
+       
+       // Bound
+       if(MaxBits >= PHYS_BITS)        maxCheck = -1;
+       
+       // Fast Allocate
+       if(Pages == 1 && MaxBits >= PHYS_BITS)
+       {
+               phys = MM_AllocPhys();
+               *PhysAddr = phys;
+               ret = MM_MapHWPage(phys, 1);
+               if(ret == 0) {
+                       MM_DerefPhys(phys);
+                       LEAVE('i', 0);
+                       return 0;
+               }
+               LEAVE('x', ret);
+               return ret;
+       }
+       
+       // Slow Allocate
+       phys = MM_AllocPhysRange(Pages);
+       // - Was it allocated?
+       if(phys == 0) {
+               LEAVE('i', 0);
+               return 0;
+       }
+       // - Check if the memory is OK
+       if(phys + (Pages-1)*0x1000 > maxCheck)
+       {
+               // Deallocate and return 0
+               for(;Pages--;phys+=0x1000)
+                       MM_DerefPhys(phys);
+               LEAVE('i', 0);
+               return 0;
+       }
+       
+       // Allocated successfully, now map
+       ret = MM_MapHWPage(phys, Pages);
+       if( ret == 0 ) {
+               // If it didn't map, free then return 0
+               for(;Pages--;phys+=0x1000)
+                       MM_DerefPhys(phys);
+               LEAVE('i', 0);
+               return 0;
+       }
+       
+       *PhysAddr = phys;
+       LEAVE('x', ret);
+       return ret;
+}
+
+/**
+ * \fn void MM_UnmapHWPage(tVAddr VAddr, Uint Number)
  * \brief Unmap a hardware page
  */
-void MM_UnmapHWPage(Uint VAddr, Uint Number)
+void MM_UnmapHWPage(tVAddr VAddr, Uint Number)
 {
         int    i, j;
        // Sanity Check
@@ -745,4 +944,5 @@ EXPORT(MM_GetPhysAddr);
 EXPORT(MM_Map);
 //EXPORT(MM_Unmap);
 EXPORT(MM_MapHWPage);
+EXPORT(MM_AllocDMA);
 EXPORT(MM_UnmapHWPage);

UCC git Repository :: git.ucc.asn.au