Kernel/arch/armv7/start.S

   1
   2 #include "include/assembly.h"
   3 #include "include/options.h"
   4
   5 @
   6 @ Exception defs taken from ARM DDI 0406B
   7 @
   8 .section .init
   9 interrupt_vector_table:
  10 ivt_reset:      b _start        @ 0x00 Reset
  11 ivt_undef:      b .             @ 0x04 #UD
  12 ivt_svc:        b SVC_Handler   @ 0x08 SVC (used to be called SWI)
  13 ivt_prefetch:   b PrefetchAbort @ 0x0C Prefetch abort
  14 ivt_data:       b DataAbort     @ 0x10 Data abort
  15 ivt_unused:     b .             @ 0x14 Not Used
  16 ivt_irq:        b IRQHandler    @ 0x18 IRQ
  17 ivt_fiq:        b .             @ 0x1C FIQ (Fast interrupt)
  18
  19 .globl _start
  20 _start:
  21         ldr r0, =kernel_table0-KERNEL_BASE
  22         mcr p15, 0, r0, c2, c0, 1       @ Set TTBR1 to r0
  23         mcr p15, 0, r0, c2, c0, 0       @ Set TTBR0 to r0 too (for identity)
  24
  25         mov r0, #1
  26         mcr p15, 0, r0, c2, c0, 2       @ Set TTCR to 1 (50/50 split)
  27
  28         mov r0, #3
  29         mcr p15, 0, r0, c3, c0, 0       @ Set Domain 0 to Manager
  30
  31         @ Enable VMSA
  32         mrc p15, 0, r0, c1, c0, 0
  33         orr r0, r0, #1
  34         orr r0, r0, #1 << 23
  35         mcr p15, 0, r0, c1, c0, 0
  36
  37         @ Enable access faults on domains 0 & 1
  38         mov r0, #0x55   @ 01010101b
  39         mcr p15, 0, r0, c3, c0, 0
  40
  41         @
  42         @ Check for security extensions
  43         @
  44         mrc p15, 0, r0, c0, c1, 1
  45         and r0, #0xF0
  46         @ - Present
  47         ldrne r0,=KERNEL_BASE
  48         mcrne p15, 0, r0, c12, c0, 0    @ Set the VBAR (brings exceptions into high memory)
  49         @ - Absent
  50         mrceq p15, 0, r0, c1, c0, 0     @ Set SCTLR.V
  51         orreq r0, #0x2000
  52         mcreq p15, 0, r0, c1, c0, 0
  53
  54
  55         @ Prepare for interrupts
  56         cps #18 @ IRQ Mode
  57         ldr sp, =irqstack+0x1000        @ Set up stack
  58         cps #23 @ Abort Mode
  59         ldr sp, =abortstack+0x1000
  60         cps #19
  61
  62         ldr sp, =0x80000000-4   @ Set up stack (top of user range)
  63         ldr r0, =kmain
  64         mov pc, r0
  65 1:      b 1b    @ Infinite loop
  66 _ptr_kmain:
  67         .long kmain
  68
  69 .comm irqstack, 0x1000  @ ; 4KiB Stack
  70 .comm abortstack, 0x1000        @ ; 4KiB Stack
  71
  72 .extern SyscallHandler
  73 SVC_Handler:
  74 @       sub lr, #4
  75         srsdb sp!, #19  @ Save state to stack
  76         cpsie ifa, #19  @ Ensure we're in supervisor with interrupts enabled (should already be there)
  77         push {r0-r12}
  78
  79         ldr r4, [lr,#-4]
  80         mvn r5, #0xFF000000
  81         and r4, r5
  82
  83         tst r4, #0x1000
  84         bne .arm_specifics
  85
  86         push {r4}
  87
  88         mov r0, sp
  89         ldr r4, =SyscallHandler
  90         blx r4
  91
  92 @       ldr r0, =csSyscallPrintRetAddr
  93 @       ldr r1, [sp,#9*4+5*4]
  94 @       ldr r4, =Log
  95 @       blx r4
  96
  97         pop {r2}        @ errno
  98         pop {r0,r1}     @ Ret/RetHi
  99         add sp, #2*4    @ Saved r2/r3
 100
 101         pop {r4-r12}
 102         rfeia sp!       @ Pop state (actually RFEFD)
 103 .arm_specifics:
 104         and r4, #0xFF
 105         mov r0, r4      @ Number
 106         mov r1, sp      @ Arguments
 107
 108         ldr r4, =ARMv7_int_HandleSyscalls
 109         blx r4
 110
 111         add sp, #4*4
 112         pop {r4-r12}
 113         rfeia sp!
 114
 115
 116 .globl gpIRQHandler
 117 gpIRQHandler:   .long   0
 118 IRQ_saved_sp:   .long   0
 119 IRQ_saved_lr:   .long   0
 120 .globl IRQHandler
 121 IRQHandler:
 122         sub lr, #4      @ Adjust LR to the correct value
 123         srsdb sp!, #19  @ Switch to supervisor mode (DDI0406B D1.6.5) (actually SRSFD)
 124         cps #19
 125
 126         PUSH_GPRS
 127
 128         ldr r0, =csIRQ_Tag
 129         ldr r1, =csIRQ_Fmt
 130         ldr r4, =Log_Debug
 131         blx r4
 132
 133         @ Call the registered handler
 134         ldr r0, gpIRQHandler
 135         blx r0
 136
 137         @ Restore CPU state
 138         POP_GPRS
 139         cpsie i
 140         rfeia sp!       @ Pop state (actually RFEFD)
 141         bx lr
 142
 143 .globl DataAbort
 144 DataAbort:
 145         sub lr, #8      @ Adjust LR to the correct value
 146         srsdb sp!, #23  @ Switch to supervisor mode (DDI0406B D1.6.5) (actually SRSFD)
 147 @       cpsid ifa, #19
 148         PUSH_GPRS
 149
 150         mov r3, #0      @ not a prefetch abort
 151         mrc p15, 0, r2, c5, c0, 0       @ Read DFSR (Data Fault Status Register) to R2
 152         mrc p15, 0, r1, c6, c0, 0       @ Read DFAR (Data Fault Address Register) into R1
 153         mov r0, lr      @ PC
 154         ldr r4, =MM_PageFault
 155         blx r4
 156
 157         POP_GPRS
 158         rfeia sp!       @ Pop state (actually RFEFD)
 159
 160 .globl PrefetchAbort
 161 PrefetchAbort:
 162         sub lr, #4      @ Adjust LR to the correct value
 163 @       srsdb sp!, #19  @ Switch to supervisor mode (DDI0406B D1.6.5) (actually SRSFD)
 164 @       cpsid ifa, #19
 165 @       PUSH_GPRS
 166
 167         ldr r0, =csAbort_Tag
 168         ldr r1, =csPrefetchAbort_Fmt
 169         mov r2, lr
 170         mrc p15, 0, r3, c5, c0, 0       @ Read IFSR (Instruction Fault Address Register) into R3
 171         ldr r4, =Log_Error
 172         blx r4
 173         b .
 174
 175 .section .rodata
 176 csIRQ_Tag:
 177 csAbort_Tag:
 178         .asciz "ARMv7"
 179 csIRQ_Fmt:
 180         .asciz "IRQ"
 181 csDataAbort_Fmt:
 182         .asciz "Data Abort - %p accessed %p, DFSR=%x Unk:%x Unk:%x"
 183 csPrefetchAbort_Fmt:
 184         .asciz "Prefetch Abort at %p, IFSR=%x"
 185 csSyscallPrintRetAddr:
 186         .asciz "Syscall ret to %p"
 187
 188 .section .padata
 189 .globl kernel_table0
 190
 191 kernel_table0:
 192         .long 0x00000402        @ Identity map the first 1 MiB
 193         .rept 0x7FC - 1
 194                 .long 0
 195         .endr
 196         .long user_table1_map + 0x000 - KERNEL_BASE + 1 @ 0x7FC00000
 197         .long user_table1_map + 0x400 - KERNEL_BASE + 1 @ 0x7FD00000
 198         .long user_table1_map + 0x800 - KERNEL_BASE + 1 @ KStacks
 199         .long user_table1_map + 0xC00 - KERNEL_BASE + 1
 200         @ 0x80000000 - User/Kernel split
 201         .long 0x00000402        @ Map first 4 MiB to 2GiB (KRW only)
 202         .long 0x00100402        @
 203         .long 0x00200402        @
 204         .long 0x00300402        @
 205         .rept 0xF00 - 0x800 - 4
 206                 .long 0
 207         .endr
 208 #if PCI_PADDR
 209         .long PCI_PADDR +  0*(1 << 20) + 0x402  @ Map PCI config space
 210         .long PCI_PADDR +  1*(1 << 20) + 0x402
 211         .long PCI_PADDR +  2*(1 << 20) + 0x402
 212         .long PCI_PADDR +  3*(1 << 20) + 0x402
 213         .long PCI_PADDR +  4*(1 << 20) + 0x402
 214         .long PCI_PADDR +  5*(1 << 20) + 0x402
 215         .long PCI_PADDR +  6*(1 << 20) + 0x402
 216         .long PCI_PADDR +  7*(1 << 20) + 0x402
 217         .long PCI_PADDR +  8*(1 << 20) + 0x402
 218         .long PCI_PADDR +  9*(1 << 20) + 0x402
 219         .long PCI_PADDR + 10*(1 << 20) + 0x402
 220         .long PCI_PADDR + 11*(1 << 20) + 0x402
 221         .long PCI_PADDR + 12*(1 << 20) + 0x402
 222         .long PCI_PADDR + 13*(1 << 20) + 0x402
 223         .long PCI_PADDR + 14*(1 << 20) + 0x402
 224         .long PCI_PADDR + 15*(1 << 20) + 0x402
 225 #else
 226         .rept 16
 227                 .long 0
 228         .endr
 229 #endif
 230         .long hwmap_table_0 + 0x000 - KERNEL_BASE + 1
 231         .long hwmap_table_0 + 0x400 - KERNEL_BASE + 1
 232         .long hwmap_table_0 + 0x800 - KERNEL_BASE + 1
 233         .long hwmap_table_0 + 0xC00 - KERNEL_BASE + 1
 234         .rept 0xFF8 - 0xF00 - 16 - 4
 235                 .long 0
 236         .endr
 237         @ Page fractals
 238         .long kernel_table1_map + 0x000 - KERNEL_BASE + 1
 239         .long kernel_table1_map + 0x400 - KERNEL_BASE + 1
 240         .long kernel_table1_map + 0x800 - KERNEL_BASE + 1
 241         .long kernel_table1_map + 0xC00 - KERNEL_BASE + 1
 242         .long kernel_exception_map + 0x000 - KERNEL_BASE + 1
 243         .long kernel_exception_map + 0x400 - KERNEL_BASE + 1
 244         .long kernel_exception_map + 0x800 - KERNEL_BASE + 1
 245         .long kernel_exception_map + 0xC00 - KERNEL_BASE + 1
 246
 247 @ PID0 user table
 248 .globl user_table1_map
 249 @ User table1 data table (only the first half is needed)
 250 @ - Abused to provide kernel stacks in the unused half of the table
 251 user_table1_map:        @ Size = 4KiB (only 2KiB used)
 252         .rept 0x800/4-1
 253                 .long 0
 254         .endr
 255         .long user_table1_map - KERNEL_BASE + 0x13      @ ...1FF000 = 0x7FDFF000
 256         @ Kernel stack zone
 257         .long kernel_table0 + 0x0000 - KERNEL_BASE + 0x13       @ ...200000 = 0x7FE00000
 258         .long kernel_table0 + 0x1000 - KERNEL_BASE + 0x13       @ ...201000 = 0x7FE01000
 259         .rept (0x800/4)-(MM_KSTACK_SIZE/0x1000)-2
 260                 .long 0
 261         .endr
 262         #if MM_KSTACK_SIZE != 0x2000
 263         #error Kernel stack size not changed in start.S
 264         #endif
 265         .long stack + 0x0000 - KERNEL_BASE + 0x13       @ Kernel Stack
 266         .long stack + 0x1000 - KERNEL_BASE + 0x13       @
 267
 268 .globl kernel_table1_map
 269 kernel_table1_map:      @ Size = 4KiB
 270         .rept (0xF00+16)/4
 271                 .long 0
 272         .endr
 273         .long hwmap_table_0 - KERNEL_BASE + 0x13
 274         .rept 0xFF8/4 - (0xF00+16)/4 - 1
 275                 .long 0
 276         .endr
 277         .long kernel_table1_map - KERNEL_BASE + 0x13
 278         .long kernel_exception_map - KERNEL_BASE + 0x13
 279
 280 @ Hardware mappings
 281 .globl hwmap_table_0
 282 hwmap_table_0:
 283         .long UART0_PADDR + 0x13        @ UART0
 284         .rept 1024 - 1
 285                 .long 0
 286         .endr
 287 .globl kernel_exception_map
 288 kernel_exception_map:
 289         @ Padding
 290         .rept 1024-256
 291                 .long 0
 292         .endr
 293         @ Align to nearly the end
 294         .rept 256-16
 295                 .long   0
 296         .endr
 297         .long 0x212     @ Map first page for exceptions (Kernel RO, Execute)
 298         .rept 16-1-2
 299                 .long 0
 300         .endr
 301         .long gUsertextPhysStart + 0x22 @ User .text (User RO, Kernel RW, because both is COW)
 302         .long 0
 303
 304 .section .padata
 305 stack:
 306         .space MM_KSTACK_SIZE, 0        @ Original kernel stack
 307