Kernel/armv7 - [realview_pb] Implemented basic timekeeping
[tpg/acess2.git] / KernelLand / Kernel / arch / armv7 / mm_virt.c
index 4583b7b..69695ee 100644 (file)
@@ -10,6 +10,7 @@
 #include <hal_proc.h>
 
 #define TRACE_MAPS     0
+#define TRACE_COW      0
 
 #define AP_KRW_ONLY    1       // Kernel page
 #define AP_KRO_ONLY    5       // Kernel RO page
 #define AP_RO_USER     2       // User RO Page
 #define PADDR_MASK_LVL1        0xFFFFFC00
 
+const char * const caAPValueNames[] = {
+       "AP_NOACCESS", "AP_KRW_ONLY",
+       "AP_RO_USER", "AP_RW_BOTH",
+       "AP_???_4", "AP_KRO_ONLY",
+       "AP_???_6", "AP_RO_BOTH"
+};
+
 // === IMPORTS ===
 extern Uint32  kernel_table0[];
 
@@ -49,11 +57,11 @@ tVAddr      MM_NewUserStack(void);
 tPAddr MM_AllocateZero(tVAddr VAddr);
 tPAddr MM_AllocateRootTable(void);
 void   MM_int_CloneTable(Uint32 *DestEnt, int Table);
-tPAddr MM_Clone(void);
+tPAddr MM_Clone(int ClearUser);
 tVAddr MM_NewKStack(int bGlobal);
 void   MM_int_DumpTableEnt(tVAddr Start, size_t Len, tMM_PageInfo *Info);
 //void MM_DumpTables(tVAddr Start, tVAddr End);
-void   MM_PageFault(Uint32 PC, Uint32 Addr, Uint32 DFSR, int bPrefetch);
+void   MM_PageFault(Uint32 PC, Uint32 Addr, Uint32 DFSR, int bPrefetch, Uint32 SystemLR, Uint32 UserLR);
 
 // === GLOBALS ===
 tPAddr giMM_ZeroPage;
@@ -320,12 +328,12 @@ int MM_int_GetPageInfo(tVAddr VAddr, tMM_PageInfo *pi)
 }
 
 // --- Exports ---
-tPAddr MM_GetPhysAddr(tVAddr VAddr)
+tPAddr MM_GetPhysAddr(volatile const void *Ptr)
 {
        tMM_PageInfo    pi;
-       if( MM_int_GetPageInfo(VAddr, &pi) )
+       if( MM_int_GetPageInfo((tVAddr)Ptr, &pi) )
                return 0;
-       return pi.PhysAddr | (VAddr & ((1 << pi.Size)-1));
+       return pi.PhysAddr | ((tVAddr)Ptr & ((1 << pi.Size)-1));
 }
 
 Uint MM_GetFlags(tVAddr VAddr)
@@ -583,52 +591,50 @@ void MM_int_CloneTable(Uint32 *DestEnt, int Table)
        DestEnt[3] = table + 3*0x400 + 1;
 }
 
-tPAddr MM_Clone(void)
+tPAddr MM_Clone(int EmptyUser)
 {
-       tPAddr  ret;
-       Uint32  *new_lvl1_1, *new_lvl1_2, *cur;
        Uint32  *tmp_map;
-        int    i;
 
 //     MM_DumpTables(0, KERNEL_BASE);
        
-       ret = MM_AllocateRootTable();
+       tPAddr  ret = MM_AllocateRootTable();
 
-       cur = (void*)MM_TABLE0USER;
-       new_lvl1_1 = MM_MapTemp(ret);
-       new_lvl1_2 = MM_MapTemp(ret+0x1000);
-       tmp_map = new_lvl1_1;
-       for( i = 0; i < 0x800-4; i ++ )
+       Uint32  *new_lvl1_1 = MM_MapTemp(ret);
+       Uint32  *new_lvl1_2 = MM_MapTemp(ret+0x1000);
+       
+       if( !EmptyUser )
        {
-               // HACK! Ignore the original identity mapping
-               if( i == 0 && Threads_GetTID() == 0 ) {
-                       tmp_map[0] = 0;
-                       continue;
-               }
-               if( i == 0x400 )
-                       tmp_map = &new_lvl1_2[-0x400];
-               switch( cur[i] & 3 )
+               Uint32 *cur = (void*)MM_TABLE0USER;
+               tmp_map = new_lvl1_1;
+               for( int i = 0; i < 0x800-4; i ++ )
                {
-               case 0: tmp_map[i] = 0; break;
-               case 1:
-                       MM_int_CloneTable(&tmp_map[i], i);
-                       i += 3; // Tables are alocated in blocks of 4
-                       break;
-               case 2:
-               case 3:
-                       Log_Error("MMVirt", "TODO: Support Sections/Supersections in MM_Clone (i=%i)", i);
-                       tmp_map[i] = 0;
-                       break;
+                       // HACK! Ignore the original identity mapping
+                       if( i == 0 && Threads_GetTID() == 0 ) {
+                               tmp_map[0] = 0;
+                               continue;
+                       }
+                       if( i == 0x400 )
+                               tmp_map = &new_lvl1_2[-0x400];
+                       switch( cur[i] & 3 )
+                       {
+                       case 0: tmp_map[i] = 0; break;
+                       case 1:
+                               MM_int_CloneTable(&tmp_map[i], i);
+                               i += 3; // Tables are alocated in blocks of 4
+                               break;
+                       case 2:
+                       case 3:
+                               Log_Error("MMVirt", "TODO: Support Sections/Supersections in MM_Clone (i=%i)", i);
+                               tmp_map[i] = 0;
+                               break;
+                       }
                }
        }
 
        // Allocate Fractal table
        {
-                int    j, num;
                tPAddr  tmp = MM_AllocPhys();
                Uint32  *table = MM_MapTemp(tmp);
-               Uint32  sp;
-               register Uint32 __SP asm("sp");
 
                // Map table to last 4MiB of user space
                new_lvl1_2[0x3FC] = tmp + 0*0x400 + 1;
@@ -637,7 +643,8 @@ tPAddr MM_Clone(void)
                new_lvl1_2[0x3FF] = tmp + 3*0x400 + 1;
                
                tmp_map = new_lvl1_1;
-               for( j = 0; j < 512; j ++ )
+                int    j = 0;
+               for( ; j < 512; j ++ )
                {
                        if( j == 256 )
                                tmp_map = &new_lvl1_2[-0x400];
@@ -652,19 +659,17 @@ tPAddr MM_Clone(void)
                // Fractal
                table[j++] = (ret + 0x0000) | 0x813;
                table[j++] = (ret + 0x1000) | 0x813;
-               // Nuke the rest
-               for(      ; j < 1024; j ++ )
+               // Clear the rest of the table
+               for( ; j < 1024; j ++ )
                        table[j] = 0;
                
                // Get kernel stack bottom
-               sp = __SP & ~(MM_KSTACK_SIZE-1);
+               register Uint32 __SP asm("sp");
+               Uint32  sp = __SP & ~(MM_KSTACK_SIZE-1);
                j = (sp / 0x1000) % 1024;
-               num = MM_KSTACK_SIZE/0x1000;
 
-//             Log("num = %i, sp = %p, j = %i", num, sp, j);
-               
                // Copy stack pages
-               for(; num--; j ++, sp += 0x1000)
+               for(int num = MM_KSTACK_SIZE/PAGE_SIZE; num--; j ++, sp += PAGE_SIZE)
                {
                        tVAddr  page;
                        void    *tmp_page;
@@ -795,7 +800,7 @@ void MM_FreeTemp(void *Ptr)
        MM_Deallocate(VAddr);
 }
 
-tVAddr MM_MapHWPages(tPAddr PAddr, Uint NPages)
+void *MM_MapHWPages(tPAddr PAddr, Uint NPages)
 {
        tVAddr  ret;
         int    i;
@@ -825,17 +830,17 @@ tVAddr MM_MapHWPages(tPAddr PAddr, Uint NPages)
                        MM_Map(ret+i*PAGE_SIZE, PAddr+i*PAGE_SIZE);
                // and return
                LEAVE('p', ret);
-               return ret;
+               return (void*)ret;
        }
        Log_Warning("MMVirt", "MM_MapHWPages: No space for a %i page block", NPages);
        LEAVE('p', 0);
        return 0;
 }
 
-tVAddr MM_AllocDMA(int Pages, int MaxBits, tPAddr *PAddr)
+void *MM_AllocDMA(int Pages, int MaxBits, tPAddr *PAddr)
 {
        tPAddr  phys;
-       tVAddr  ret;
+       void    *ret;
 
        phys = MM_AllocPhysRange(Pages, MaxBits);
        if(!phys) {
@@ -844,7 +849,12 @@ tVAddr MM_AllocDMA(int Pages, int MaxBits, tPAddr *PAddr)
        }
        
        ret = MM_MapHWPages(phys, Pages);
-       *PAddr = phys;
+       if( !ret ) {
+               MM_DerefPhys(phys);
+               return NULL;
+       }
+       if( PAddr )
+               *PAddr = phys;
 
        return ret;
 }
@@ -902,10 +912,11 @@ tVAddr MM_NewUserStack(void)
        tVAddr  addr, ofs;
 
        addr = USER_STACK_TOP - USER_STACK_SIZE;
-       if( MM_GetPhysAddr(addr + PAGE_SIZE) ) {
+       if( MM_GetPhysAddr( (void*)(addr + PAGE_SIZE) ) ) {
                Log_Error("MMVirt", "Unable to create initial user stack, addr %p taken",
                        addr + PAGE_SIZE
                        );
+               MM_DumpTables(0,KERNEL_BASE);
                return 0;
        }
 
@@ -929,7 +940,7 @@ tVAddr MM_NewUserStack(void)
                }
                MM_SetFlags(addr+ofs, 0, MM_PFLAG_KERNEL);
        }
-//     Log("Return %p", addr + ofs);
+       Log("Return %p", addr + ofs);
 //     MM_DumpTables(0, 0x80000000);
        return addr + ofs;
 }
@@ -938,18 +949,23 @@ void MM_int_DumpTableEnt(tVAddr Start, size_t Len, tMM_PageInfo *Info)
 {
        if( giMM_ZeroPage && Info->PhysAddr == giMM_ZeroPage )
        {
-               Debug("%p => %8s - 0x%7x %i %x %s",
+               Debug("0x%08x => %8s - 0x%7x D%i %x %s %s",
                        Start, "ZERO", Len,
                        Info->Domain, Info->AP,
-                       Info->bGlobal ? "G" : "nG"
+                       Info->bExecutable ? " X" : "nX",
+                       Info->bGlobal ? " G" : "nG"
                        );
        }
        else
        {
-               Debug("%p => %8x - 0x%7x %i %x %s",
+               void    *node;
+               MM_GetPageNode(Info->PhysAddr, &node);
+               Debug("0x%08x => %8x - 0x%7x D%i %x %s %s %p",
                        Start, Info->PhysAddr-Len, Len,
                        Info->Domain, Info->AP,
-                       Info->bGlobal ? "G" : "nG"
+                       Info->bExecutable ? " X" : "nX",
+                       Info->bGlobal ? " G" : "nG",
+                       node
                        );
        }
 }
@@ -996,7 +1012,7 @@ void MM_DumpTables(tVAddr Start, tVAddr End)
 }
 
 // NOTE: Runs in abort context, not much difference, just a smaller stack
-void MM_PageFault(Uint32 PC, Uint32 Addr, Uint32 DFSR, int bPrefetch)
+void MM_PageFault(Uint32 PC, Uint32 Addr, Uint32 DFSR, int bPrefetch, Uint32 SystemLR, Uint32 UserLR)
 {
         int    rv;
        tMM_PageInfo    pi;
@@ -1070,6 +1086,33 @@ void MM_PageFault(Uint32 PC, Uint32 Addr, Uint32 DFSR, int bPrefetch)
        Log_Error("MMVirt", "Code at %p accessed %p (DFSR = 0x%x)%s", PC, Addr, DFSR,
                (bPrefetch ? " - Prefetch" : "")
                );
+       Log_Error("MMVirt", "- User LR = 0x%x, System LR = 0x%x", UserLR, SystemLR);
+       const char * const dfsr_errors[] = {
+               /* 00000 */ "-", "Alignment Fault",
+               /* 00010 */ "Debug event", "Access Flag (Section)",
+               /* 00100 */ "Instr Cache Maint", "Translation (Section)",
+               /* 00110 */ "Access Flag (Page)", "Translation (Page)",
+               /* 01000 */ "Sync. External abort", "Domain (Section)",
+               /* 01010 */ "-", "Domain (Page)",
+               /* 01100 */ "Table Walk sync ext (lvl 1)", "Permission (Section)",
+               /* 01110 */ "Table Walk sync ext (lvl 2)", "Permission (Page)",
+               // 0b10000
+               /* 10000 */ "-", "-",
+               /* 10010 */ "-", "-",
+               /* 10100 */ "IMPL (Lockdown)", "-",
+               /* 10110 */ "Async. Extern. Abort", "-",
+               /* 11000 */ "Mem. access async pairity error", "Mem. access async pairity error",
+               /* 11010 */ "IMPL (Coprocessor abort)", "-",
+               /* 11100 */ "Table Walk Sync parity (lvl 1)", "-",
+               /* 11110 */ "Table Walk Sync parity (lvl 2)", "-"
+               };
+        int    errcode = (DFSR & 0xF) | (((DFSR >> 10) & 1) << 4);
+       Log_Error("MMVirt", "- Errcode 0b%05b", errcode);
+       Log_Error("MMVirt", "- Dom %i %s %s",
+               (DFSR >> 4) & 0xF, (DFSR & 0x800 ? "Write": "Read"),
+               dfsr_errors[errcode]
+               );
+       Log_Error("MMVirt", "- AP=%i(%s) %s", pi.AP, caAPValueNames[pi.AP], pi.bExecutable ? " Executable":"");
        if( Addr < 0x80000000 )
                MM_DumpTables(0, 0x80000000);
        else

UCC git Repository :: git.ucc.asn.au