Kernel/arch/armv7/start.S

   1
   2 #include "include/assembly.h"
   3 #include "include/options.h"
   4
   5 @
   6 @ Exception defs taken from ARM DDI 0406B
   7 @
   8 .section .init
   9 interrupt_vector_table:
  10 ivt_reset:      b _start @ Reset
  11 ivt_undef:      b .     @ #UD
  12 ivt_svc:        b SVC_Handler @ SVC (used to be called SWI)
  13 ivt_prefetch:   b PrefetchAbort @ Prefetch abort
  14 ivt_data:       b DataAbort     @ Data abort
  15 ivt_unused:     b .     @ Not Used
  16 ivt_irq:        b IRQHandler    @ IRQ
  17 ivt_fiq:        b .     @ FIQ (Fast interrupt)
  18
  19 .globl _start
  20 _start:
  21         ldr r0, =kernel_table0-KERNEL_BASE
  22         mcr p15, 0, r0, c2, c0, 1       @ Set TTBR1 to r0
  23         mcr p15, 0, r0, c2, c0, 0       @ Set TTBR0 to r0 too (for identity)
  24
  25         mov r0, #1
  26         mcr p15, 0, r0, c2, c0, 2       @ Set TTCR to 1 (50/50 split)
  27
  28         mov r0, #3
  29         mcr p15, 0, r0, c3, c0, 0       @ Set Domain 0 to Manager
  30
  31         @ Enable VMSA
  32         mrc p15, 0, r0, c1, c0, 0
  33         orr r0, r0, #1
  34         orr r0, r0, #1 << 23
  35         mcr p15, 0, r0, c1, c0, 0
  36
  37         @
  38         @ Check for security extensions
  39         @
  40         mrc p15, 0, r0, c0, c1, 1
  41         and r0, #0xF0
  42         @ - Present
  43         ldrne r0,=KERNEL_BASE
  44         mcrne p15, 0, r0, c12, c0, 0    @ Set the VBAR (brings exceptions into high memory)
  45         @ - Absent
  46         mrceq p15, 0, r0, c1, c0, 0     @ Set SCTLR.V
  47         orreq r0, #0x2000
  48         mcreq p15, 0, r0, c1, c0, 0
  49
  50
  51         @ Prepare for interrupts
  52         cps #18 @ IRQ Mode
  53         ldr sp, =irqstack+0x1000        @ Set up stack
  54         cps #23 @ Abort Mode
  55         ldr sp, =abortstack+0x1000
  56         cps #19
  57
  58         ldr sp, =0x80000000-4   @ Set up stack (top of user range)
  59         ldr r0, =kmain
  60         mov pc, r0
  61 1:      b 1b    @ Infinite loop
  62 _ptr_kmain:
  63         .long kmain
  64
  65 .comm irqstack, 0x1000  @ ; 4KiB Stack
  66 .comm abortstack, 0x1000        @ ; 4KiB Stack
  67
  68 .extern SyscallHandler
  69 SVC_Handler:
  70 @       sub lr, #4
  71         srsdb sp!, #19  @ Switch to supervisor mode (DDI0406B D1.6.5) (actually SRSFD)
  72         cpsid ifa, #19
  73         push {r0-r12}
  74
  75         ldr r4, [lr,#-4]
  76         mvn r5, #0xFF000000
  77         and r4, r5
  78
  79         tst r4, #0x1000
  80         bne .arm_specifics
  81
  82         push {r4}
  83
  84         mov r0, sp
  85         ldr r4, =SyscallHandler
  86         blx r4
  87
  88         pop {r2}        @ errno
  89         pop {r0,r1}     @ Ret/RetHi
  90         add sp, #2*4    @ Saved r2/r3
  91
  92         pop {r4-r12}
  93         rfeia sp!       @ Pop state (actually RFEFD)
  94 .arm_specifics:
  95         and r4, #0xFF
  96
  97 @
  98 @ Cache invalidation
  99         cmp r4, #0x001
 100         bne 1f
 101         @ Page align
 102         mov r2, #0x1000
 103         sub r2, #1
 104         add r1, r2
 105         mvn r2, r2
 106         and r0, r2
 107         and r1, r2
 108         cmp r0, #0x78000000
 109         cmpls r1, #0x78000000
 110         movge r0, #-1
 111         movge r1, #0
 112         movge r2, #1
 113         bge .ret
 114
 115 2:
 116         cmp r0, r1
 117         mcrlt p15, 0, r0, c7, c5, 1
 118         mcrlt p15, 0, r0, c7, c6, 1
 119         addlt r0, #0x1000
 120         blt 2b
 121         mov r0, #0
 122         mov r1, #0
 123         mov r2, #0
 124         b .ret
 125 1:
 126         mov r0, #-1
 127         mov r1, #0
 128         mov r2, #-1
 129 .ret:
 130         add sp, #4*4
 131         pop {r4-r12}
 132         rfeia sp!
 133
 134
 135 .globl gpIRQHandler
 136 gpIRQHandler:   .long   0
 137 IRQ_saved_sp:   .long   0
 138 IRQ_saved_lr:   .long   0
 139 .globl IRQHandler
 140 IRQHandler:
 141         sub lr, #4      @ Adjust LR to the correct value
 142         srsdb sp!, #19  @ Switch to supervisor mode (DDI0406B D1.6.5) (actually SRSFD)
 143         cps #19
 144
 145         PUSH_GPRS
 146
 147 @       ldr r0, =csIRQ_Tag
 148 @       ldr r1, =csIRQ_Fmt
 149 @       ldr r4, =Log_Debug
 150 @       blx r4
 151
 152         @ Call the registered handler
 153         ldr r0, gpIRQHandler
 154         blx r0
 155
 156         @ Restore CPU state
 157         POP_GPRS
 158         cpsie i
 159         rfeia sp!       @ Pop state (actually RFEFD)
 160         bx lr
 161
 162 .globl DataAbort
 163 DataAbort:
 164         sub lr, #8      @ Adjust LR to the correct value
 165 @       srsdb sp!, #19  @ Switch to supervisor mode (DDI0406B D1.6.5) (actually SRSFD)
 166 @       cpsid ifa, #19
 167 @       PUSH_GPRS
 168
 169         mrc p15, 0, r4, c5, c0, 0       @ Read DFSR (Data Fault Address Register) to stack
 170         push {r4}
 171         mrc p15, 0, r3, c6, c0, 0       @ Read DFAR (Data Fault Address Register) into R3
 172         mov r2, lr
 173         ldr r1, =csDataAbort_Fmt
 174         ldr r0, =csAbort_Tag
 175         ldr r4, =Log_Error
 176         blx r4
 177         b .
 178
 179 @       POP_GPRS
 180 @       rfeia sp!       @ Pop state (actually RFEFD)
 181         bx lr
 182
 183 .globl PrefetchAbort
 184 PrefetchAbort:
 185         sub lr, #4      @ Adjust LR to the correct value
 186 @       srsdb sp!, #19  @ Switch to supervisor mode (DDI0406B D1.6.5) (actually SRSFD)
 187 @       cpsid ifa, #19
 188 @       PUSH_GPRS
 189
 190         ldr r0, =csAbort_Tag
 191         ldr r1, =csPrefetchAbort_Fmt
 192         mov r2, lr
 193         mrc p15, 0, r3, c5, c0, 0       @ Read IFSR (Instruction Fault Address Register) into R3
 194         ldr r4, =Log_Error
 195         blx r4
 196         b .
 197
 198 csIRQ_Tag:
 199 csAbort_Tag:
 200         .asciz "ARMv7"
 201 csIRQ_Fmt:
 202         .asciz "IRQ"
 203 csDataAbort_Fmt:
 204         .asciz "Data Abort - %p accessed %p, DFSR=%x Unk:%x Unk:%x"
 205 csPrefetchAbort_Fmt:
 206         .asciz "Prefetch Abort at %p, IFSR=%x"
 207
 208 .section .padata
 209 .globl kernel_table0
 210
 211 kernel_table0:
 212         .long 0x00000002        @ Identity map the first 1 MiB
 213         .rept 0x7FC - 1
 214                 .long 0
 215         .endr
 216         .long user_table1_map + 0x000 - KERNEL_BASE + 1 @ 0x7FC00000
 217         .long user_table1_map + 0x400 - KERNEL_BASE + 1 @ 0x7FD00000
 218         .long user_table1_map + 0x800 - KERNEL_BASE + 1 @ KStacks
 219         .long user_table1_map + 0xC00 - KERNEL_BASE + 1
 220         @ 0x80000000 - User/Kernel split
 221         .long 0x00000002        @ Map first 4 MiB to 2GiB
 222         .long 0x00100002        @
 223         .long 0x00200002        @
 224         .long 0x00300002        @
 225         .rept 0xF00 - 0x800 - 4
 226                 .long 0
 227         .endr
 228 #if PCI_PADDR
 229         .long PCI_PADDR +  0*(1 << 20) + 2      @ Map PCI config space
 230         .long PCI_PADDR +  1*(1 << 20) + 2
 231         .long PCI_PADDR +  2*(1 << 20) + 2
 232         .long PCI_PADDR +  3*(1 << 20) + 2
 233         .long PCI_PADDR +  4*(1 << 20) + 2
 234         .long PCI_PADDR +  5*(1 << 20) + 2
 235         .long PCI_PADDR +  6*(1 << 20) + 2
 236         .long PCI_PADDR +  7*(1 << 20) + 2
 237         .long PCI_PADDR +  8*(1 << 20) + 2
 238         .long PCI_PADDR +  9*(1 << 20) + 2
 239         .long PCI_PADDR + 10*(1 << 20) + 2
 240         .long PCI_PADDR + 11*(1 << 20) + 2
 241         .long PCI_PADDR + 12*(1 << 20) + 2
 242         .long PCI_PADDR + 13*(1 << 20) + 2
 243         .long PCI_PADDR + 14*(1 << 20) + 2
 244         .long PCI_PADDR + 15*(1 << 20) + 2
 245 #else
 246         .rept 16
 247                 .long 0
 248         .endr
 249 #endif
 250         .long hwmap_table_0 + 0x000 - KERNEL_BASE + 1
 251         .long hwmap_table_0 + 0x400 - KERNEL_BASE + 1
 252         .long hwmap_table_0 + 0x800 - KERNEL_BASE + 1
 253         .long hwmap_table_0 + 0xC00 - KERNEL_BASE + 1
 254         .rept 0xFF8 - 0xF00 - 16 - 4
 255                 .long 0
 256         .endr
 257         @ Page fractals
 258         .long kernel_table1_map + 0x000 - KERNEL_BASE + 1
 259         .long kernel_table1_map + 0x400 - KERNEL_BASE + 1
 260         .long kernel_table1_map + 0x800 - KERNEL_BASE + 1
 261         .long kernel_table1_map + 0xC00 - KERNEL_BASE + 1
 262         .long kernel_exception_map + 0x000 - KERNEL_BASE + 1
 263         .long kernel_exception_map + 0x400 - KERNEL_BASE + 1
 264         .long kernel_exception_map + 0x800 - KERNEL_BASE + 1
 265         .long kernel_exception_map + 0xC00 - KERNEL_BASE + 1
 266
 267 @ PID0 user table
 268 .globl user_table1_map
 269 @ User table1 data table (only the first half is needed)
 270 @ - Abused to provide kernel stacks in upper half
 271 user_table1_map:        @ Size = 4KiB (only 2KiB used)
 272         .rept 0x800/4-1
 273                 .long 0
 274         .endr
 275         .long user_table1_map - KERNEL_BASE + 0x10 + 3          @ ...1FF000 = 0x7FDFF000
 276         @ Kernel stack zone
 277         .long kernel_table0 + 0x0000 - KERNEL_BASE + 0x10 + 3   @ ...200000 = 0x7FE00000
 278         .long kernel_table0 + 0x1000 - KERNEL_BASE + 0x10 + 3   @ ...201000 = 0x7FE01000
 279         .rept (0x800/4)-(MM_KSTACK_SIZE/0x1000)-2
 280                 .long 0
 281         .endr
 282         #if MM_KSTACK_SIZE != 0x2000
 283         #error Kernel stack size not changed in start.S
 284         #endif
 285         .long stack + 0x0000 - KERNEL_BASE + 0x10 + 3   @ Kernel Stack
 286         .long stack + 0x1000 - KERNEL_BASE + 0x10 + 3   @
 287
 288 .globl kernel_table1_map
 289 kernel_table1_map:      @ Size = 4KiB
 290         .rept (0xF00+16)/4
 291                 .long 0
 292         .endr
 293         .long hwmap_table_0 - KERNEL_BASE + (1 << 4) + 3
 294         .rept 0xFF8/4 - (0xF00+16)/4 - 1
 295                 .long 0
 296         .endr
 297         .long kernel_table1_map - KERNEL_BASE + (1 << 4) + 3
 298         .long kernel_exception_map - KERNEL_BASE + 0x13
 299
 300 @ Hardware mappings
 301 .globl hwmap_table_0
 302 hwmap_table_0:
 303         .long UART0_PADDR + (1 << 4) + 3        @ UART0
 304         .rept 1024 - 1
 305                 .long 0
 306         .endr
 307 .globl kernel_exception_map
 308 kernel_exception_map:
 309         @ Padding
 310         .rept 1024-256
 311                 .long 0
 312         .endr
 313         @ Align to nearly the end
 314         .rept 256-16
 315                 .long   0
 316         .endr
 317         .long 0x213     @ Map first page for exceptions (Kernel RO)
 318         .rept 15
 319                 .long 0
 320         .endr
 321
 322 .section .padata
 323 stack:
 324         .space MM_KSTACK_SIZE, 0        @ Original kernel stack
 325