Kernel - Fixing up doxygen commenting
[tpg/acess2.git] / Kernel / arch / armv7 / mm_virt.c
index 1f10cd5..7d0c85a 100644 (file)
@@ -9,10 +9,13 @@
 #include <mm_virt.h>
 #include <hal_proc.h>
 
-#define AP_KRW_ONLY    0x1
-#define AP_KRO_ONLY    0x5
-#define AP_RW_BOTH     0x3
-#define AP_RO_BOTH     0x6
+#define TRACE_MAPS     0
+
+#define AP_KRW_ONLY    1       // Kernel page
+#define AP_KRO_ONLY    5       // Kernel RO page
+#define AP_RW_BOTH     3       // Standard RW
+#define AP_RO_BOTH     6       // COW Page
+#define AP_RO_USER     2       // User RO Page
 #define PADDR_MASK_LVL1        0xFFFFFC00
 
 // === IMPORTS ===
@@ -41,6 +44,8 @@ void  MM_int_GetTables(tVAddr VAddr, Uint32 **Table0, Uint32 **Table1);
  int   MM_int_AllocateCoarse(tVAddr VAddr, int Domain);
  int   MM_int_SetPageInfo(tVAddr VAddr, tMM_PageInfo *pi);
  int   MM_int_GetPageInfo(tVAddr VAddr, tMM_PageInfo *pi);
+tVAddr MM_NewUserStack(void);
+tPAddr MM_AllocateZero(tVAddr VAddr);
 tPAddr MM_AllocateRootTable(void);
 void   MM_int_CloneTable(Uint32 *DestEnt, int Table);
 tPAddr MM_Clone(void);
@@ -49,6 +54,7 @@ void  MM_int_DumpTableEnt(tVAddr Start, size_t Len, tMM_PageInfo *Info);
 //void MM_DumpTables(tVAddr Start, tVAddr End);
 
 // === GLOBALS ===
+tPAddr giMM_ZeroPage;
 
 // === CODE ===
 int MM_InitialiseVirtual(void)
@@ -325,6 +331,8 @@ Uint MM_GetFlags(tVAddr VAddr)
        
        switch(pi.AP)
        {
+       case 0:
+               break;
        case AP_KRW_ONLY:
                ret |= MM_PFLAG_KERNEL;
                break;
@@ -334,6 +342,9 @@ Uint MM_GetFlags(tVAddr VAddr)
        case AP_RW_BOTH:
                break;
        case AP_RO_BOTH:
+               ret |= MM_PFLAG_COW;
+               break;
+       case AP_RO_USER:
                ret |= MM_PFLAG_RO;
                break;
        }
@@ -345,18 +356,52 @@ Uint MM_GetFlags(tVAddr VAddr)
 void MM_SetFlags(tVAddr VAddr, Uint Flags, Uint Mask)
 {
        tMM_PageInfo    pi;
+       Uint    curFlags;
+       
        if( MM_int_GetPageInfo(VAddr, &pi) )
-               return;
+               return ;
+       
+       curFlags = MM_GetPhysAddr(VAddr);
+       if( (curFlags & Mask) == Flags )
+               return ;
+       curFlags &= ~Mask;
+       curFlags |= Flags;
+
+       if( curFlags & MM_PFLAG_COW )
+               pi.AP = AP_RO_BOTH;
+       else
+       {
+               switch(curFlags & (MM_PFLAG_KERNEL|MM_PFLAG_RO) )
+               {
+               case 0:
+                       pi.AP = AP_RW_BOTH;     break;
+               case MM_PFLAG_KERNEL:
+                       pi.AP = AP_KRW_ONLY;    break;
+               case MM_PFLAG_RO:
+                       pi.AP = AP_RO_USER;     break;
+               case MM_PFLAG_KERNEL|MM_PFLAG_RO:
+                       pi.AP = AP_KRO_ONLY;    break;
+               }
+       }
+       
+       pi.bExecutable = !!(curFlags & MM_PFLAG_EXEC);
+
+       MM_int_SetPageInfo(VAddr, &pi);
 }
 
 int MM_Map(tVAddr VAddr, tPAddr PAddr)
 {
        tMM_PageInfo    pi = {0};
-//     Log("MM_Map %P=>%p", PAddr, VAddr);
+       #if TRACE_MAPS
+       Log("MM_Map %P=>%p", PAddr, VAddr);
+       #endif
        
        pi.PhysAddr = PAddr;
        pi.Size = 12;
-       pi.AP = AP_KRW_ONLY;    // Kernel Read/Write
+       if(VAddr < USER_STACK_TOP)
+               pi.AP = AP_RW_BOTH;
+       else
+               pi.AP = AP_KRW_ONLY;    // Kernel Read/Write
        pi.bExecutable = 1;
        if( MM_int_SetPageInfo(VAddr, &pi) ) {
                MM_DerefPhys(pi.PhysAddr);
@@ -374,7 +419,10 @@ tPAddr MM_Allocate(tVAddr VAddr)
        pi.PhysAddr = MM_AllocPhys();
        if( pi.PhysAddr == 0 )  LEAVE_RET('i', 0);
        pi.Size = 12;
-       pi.AP = AP_KRW_ONLY;    // Kernel Read/Write
+       if(VAddr < USER_STACK_TOP)
+               pi.AP = AP_RW_BOTH;
+       else
+               pi.AP = AP_KRW_ONLY;
        pi.bExecutable = 1;
        if( MM_int_SetPageInfo(VAddr, &pi) ) {
                MM_DerefPhys(pi.PhysAddr);
@@ -385,6 +433,21 @@ tPAddr MM_Allocate(tVAddr VAddr)
        return pi.PhysAddr;
 }
 
+tPAddr MM_AllocateZero(tVAddr VAddr)
+{
+       if( !giMM_ZeroPage ) {
+               giMM_ZeroPage = MM_Allocate(VAddr);
+               MM_RefPhys(giMM_ZeroPage);
+               memset((void*)VAddr, 0, PAGE_SIZE);
+       }
+       else {
+               MM_RefPhys(giMM_ZeroPage);
+               MM_Map(VAddr, giMM_ZeroPage);
+       }
+       MM_SetFlags(VAddr, MM_PFLAG_COW, MM_PFLAG_COW);
+       return giMM_ZeroPage;
+}
+
 void MM_Deallocate(tVAddr VAddr)
 {
        tMM_PageInfo    pi;
@@ -428,7 +491,7 @@ void MM_int_CloneTable(Uint32 *DestEnt, int Table)
 {
        tPAddr  table;
        Uint32  *tmp_map;
-       Uint32  *cur = (void*)MM_TABLE0USER;
+       Uint32  *cur = (void*)MM_TABLE1USER;
 //     Uint32  *cur = &FRACTAL(MM_TABLE1USER,0);
         int    i;
        
@@ -439,12 +502,13 @@ void MM_int_CloneTable(Uint32 *DestEnt, int Table)
        
        for( i = 0; i < 1024; i ++ )
        {
-               switch(cur[i] & 3)
+//             Log_Debug("MMVirt", "cur[%i] (%p) = %x", Table*256+i, &cur[Table*256+i], cur[Table*256+i]);
+               switch(cur[Table*256+i] & 3)
                {
                case 0: tmp_map[i] = 0; break;
                case 1:
                        tmp_map[i] = 0;
-                       Log_Error("MMVirt", "TODO: Support large pages in MM_int_CloneTable");
+                       Log_Error("MMVirt", "TODO: Support large pages in MM_int_CloneTable (%p)", (Table*256+i)*0x1000);
                        // Large page?
                        break;
                case 2:
@@ -470,6 +534,8 @@ tPAddr MM_Clone(void)
        Uint32  *new_lvl1_1, *new_lvl1_2, *cur;
        Uint32  *tmp_map;
         int    i;
+
+//     MM_DumpTables(0, KERNEL_BASE);
        
        ret = MM_AllocateRootTable();
 
@@ -479,7 +545,11 @@ tPAddr MM_Clone(void)
        tmp_map = new_lvl1_1;
        for( i = 0; i < 0x800-4; i ++ )
        {
-//             Log("i = %i", i);
+               // HACK! Ignore the original identity mapping
+               if( i == 0 && Threads_GetTID() == 0 ) {
+                       tmp_map[0] = 0;
+                       continue;
+               }
                if( i == 0x400 )
                        tmp_map = &new_lvl1_2[-0x400];
                switch( cur[i] & 3 )
@@ -535,6 +605,8 @@ tPAddr MM_Clone(void)
                sp = __SP & ~(MM_KSTACK_SIZE-1);
                j = (sp / 0x1000) % 1024;
                num = MM_KSTACK_SIZE/0x1000;
+
+               Log("num = %i, sp = %p, j = %i", num, sp, j);
                
                // Copy stack pages
                for(; num--; j ++, sp += 0x1000)
@@ -575,7 +647,7 @@ tVAddr MM_MapTemp(tPAddr PAddr)
                if( MM_int_GetPageInfo(ret, &pi) == 0 )
                        continue;
 
-//             Log("MapTemp %P at %p", PAddr, ret);    
+               Log("MapTemp %P at %p by %p", PAddr, ret, __builtin_return_address(0));
                MM_RefPhys(PAddr);      // Counter the MM_Deallocate in FreeTemp
                MM_Map(ret, PAddr);
                
@@ -623,7 +695,7 @@ tVAddr MM_MapHWPages(tPAddr PAddr, Uint NPages)
        
                // Map the pages        
                for( i = 0; i < NPages; i ++ )
-                       MM_Map(ret+i*PAGE_SIZE, PAddr+i*PAddr);
+                       MM_Map(ret+i*PAGE_SIZE, PAddr+i*PAGE_SIZE);
                // and return
                LEAVE('p', ret);
                return ret;
@@ -635,8 +707,19 @@ tVAddr MM_MapHWPages(tPAddr PAddr, Uint NPages)
 
 tVAddr MM_AllocDMA(int Pages, int MaxBits, tPAddr *PAddr)
 {
-       Log_Error("MMVirt", "TODO: Implement MM_AllocDMA");
-       return 0;
+       tPAddr  phys;
+       tVAddr  ret;
+
+       phys = MM_AllocPhysRange(Pages, MaxBits);
+       if(!phys) {
+               Log_Warning("MMVirt", "No space left for a %i page block (MM_AllocDMA)", Pages);
+               return 0;
+       }
+       
+       ret = MM_MapHWPages(phys, Pages);
+       *PAddr = phys;
+
+       return ret;
 }
 
 void MM_UnmapHWPages(tVAddr Vaddr, Uint Number)
@@ -687,13 +770,59 @@ tVAddr MM_NewKStack(int bShared)
        return addr + ofs;
 }
 
+tVAddr MM_NewUserStack(void)
+{
+       tVAddr  addr, ofs;
+
+       addr = USER_STACK_TOP - USER_STACK_SIZE;
+       if( MM_GetPhysAddr(addr + PAGE_SIZE) ) {
+               Log_Error("MMVirt", "Unable to create initial user stack, addr %p taken",
+                       addr + PAGE_SIZE
+                       );
+               return 0;
+       }
+
+       // 1 guard page
+       for( ofs = PAGE_SIZE; ofs < USER_STACK_SIZE; ofs += PAGE_SIZE )
+       {
+               tPAddr  rv;
+               if(ofs >= USER_STACK_SIZE - USER_STACK_COMM)
+                       rv = MM_Allocate(addr + ofs);
+               else
+                       rv = MM_AllocateZero(addr + ofs);
+               if(rv == 0)
+               {
+                       while(ofs)
+                       {
+                               ofs -= PAGE_SIZE;
+                               MM_Deallocate(addr + ofs);
+                       }
+                       Log_Warning("MMVirt", "MM_NewUserStack: Unable to allocate");
+                       return 0;
+               }
+               MM_SetFlags(addr+ofs, 0, MM_PFLAG_KERNEL);
+       }
+       Log("Return %p", addr + ofs);
+       MM_DumpTables(0, 0x80000000);
+       return addr + ofs;
+}
+
 void MM_int_DumpTableEnt(tVAddr Start, size_t Len, tMM_PageInfo *Info)
 {
-       Log("%p => %8x - 0x%7x %i %x",
-               Start, Info->PhysAddr-Len, Len,
-               Info->Domain,
-               Info->AP
-               );
+       if( giMM_ZeroPage && Info->PhysAddr == giMM_ZeroPage )
+       {
+               Debug("%p => %8s - 0x%7x %i %x",
+                       Start, "ZERO", Len,
+                       Info->Domain, Info->AP
+                       );
+       }
+       else
+       {
+               Debug("%p => %8x - 0x%7x %i %x",
+                       Start, Info->PhysAddr-Len, Len,
+                       Info->Domain, Info->AP
+                       );
+       }
 }
 
 void MM_DumpTables(tVAddr Start, tVAddr End)
@@ -704,12 +833,13 @@ void MM_DumpTables(tVAddr Start, tVAddr End)
        
        pi_old.Size = 0;
 
-       Log("Page Table Dump:");
+       Debug("Page Table Dump:");
        range_start = Start;
        for( addr = Start; i == 0 || (addr && addr < End); i = 1 )
        {
+                int    rv;
 //             Log("addr = %p", addr);
-               int rv = MM_int_GetPageInfo(addr, &pi);
+               rv = MM_int_GetPageInfo(addr, &pi);
                if( rv
                 || pi.Size != pi_old.Size
                 || pi.Domain != pi_old.Domain
@@ -724,12 +854,14 @@ void MM_DumpTables(tVAddr Start, tVAddr End)
                }
                
                pi_old = pi;
-               pi_old.PhysAddr += 1 << pi_old.Size;
+               // Handle the zero page
+               if( !giMM_ZeroPage || pi_old.Size != 12 || pi_old.PhysAddr != giMM_ZeroPage )
+                       pi_old.PhysAddr += 1 << pi_old.Size;
                addr += 1 << pi_old.Size;
                inRange = (rv == 0);
        }
        if(inRange)
                MM_int_DumpTableEnt(range_start, addr - range_start, &pi);
-       Log("Done");
+       Debug("Done");
 }
 

UCC git Repository :: git.ucc.asn.au