KernelLand/Kernel/arch/x86_64/lib.c

   1 /*
   2  */
   3 #include <acess.h>
   4 #include <arch.h>
   5 #include <drv_serial.h>
   6
   7 #define DEBUG_TO_E9     1
   8 #define DEBUG_TO_SERIAL 1
   9 #define SERIAL_PORT     0x3F8
  10 #define GDB_SERIAL_PORT 0x2F8
  11
  12
  13 // === IMPORTS ===
  14 extern int      GetCPUNum(void);
  15 extern void     *Proc_GetCurThread(void);
  16
  17 // === GLOBALS ===
  18  int    gbDebug_SerialSetup = 0;
  19  int    gbGDB_SerialSetup = 0;
  20
  21 // === PROTOTYPEs ===
  22  int    putDebugChar(char ch);
  23 void    Debug_SerialIRQHandler(int irq, void *unused);
  24
  25 // === CODE ===
  26 /**
  27  * \brief Determine if a short spinlock is locked
  28  * \param Lock  Lock pointer
  29  */
  30 int IS_LOCKED(struct sShortSpinlock *Lock)
  31 {
  32         return !!Lock->Lock;
  33 }
  34
  35 /**
  36  * \brief Check if the current CPU has the lock
  37  * \param Lock  Lock pointer
  38  */
  39 int CPU_HAS_LOCK(struct sShortSpinlock *Lock)
  40 {
  41         #if STACKED_LOCKS == 1
  42         return Lock->Lock == GetCPUNum() + 1;
  43         #elif STACKED_LOCKS == 2
  44         return Lock->Lock == Proc_GetCurThread();
  45         #else
  46         return 0;
  47         #endif
  48 }
  49
  50 /**
  51  * \brief Acquire a Short Spinlock
  52  * \param Lock  Lock pointer
  53  *
  54  * This type of mutex should only be used for very short sections of code,
  55  * or in places where a Mutex_* would be overkill, such as appending
  56  * an element to linked list (usually two assignement lines in C)
  57  *
  58  * \note This type of lock halts interrupts, so ensure that no timing
  59  * functions are called while it is held. As a matter of fact, spend as
  60  * little time as possible with this lock held
  61  * \note If \a STACKED_LOCKS is set, this type of spinlock can be nested
  62  */
  63 void SHORTLOCK(struct sShortSpinlock *Lock)
  64 {
  65          int    v = 1;
  66         #if LOCK_DISABLE_INTS
  67          int    IF;
  68         #endif
  69         #if STACKED_LOCKS == 1
  70          int    cpu = GetCPUNum() + 1;
  71         #elif STACKED_LOCKS == 2
  72         void    *thread = Proc_GetCurThread();
  73         #endif
  74
  75         #if LOCK_DISABLE_INTS
  76         // Save interrupt state and clear interrupts
  77         __ASM__ ("pushf;\n\tpop %0" : "=r"(IF));
  78         IF &= 0x200;    // AND out all but the interrupt flag
  79         #endif
  80
  81         #if STACKED_LOCKS == 1
  82         if( Lock->Lock == cpu ) {
  83                 Lock->Depth ++;
  84                 return ;
  85         }
  86         #elif STACKED_LOCKS == 2
  87         if( Lock->Lock == thread ) {
  88                 Lock->Depth ++;
  89                 return ;
  90         }
  91         #endif
  92
  93         // Wait for another CPU to release
  94         while(v) {
  95                 // CMPXCHG:
  96                 //  If r/m32 == EAX, set ZF and set r/m32 = r32
  97                 //  Else, clear ZF and set EAX = r/m32
  98                 #if STACKED_LOCKS == 1
  99                 __ASM__("lock cmpxchgl %2, (%3)"
 100                         : "=a"(v)
 101                         : "a"(0), "r"(cpu), "r"(&Lock->Lock)
 102                         );
 103                 #elif STACKED_LOCKS == 2
 104                 __ASM__("lock cmpxchgq %2, (%3)"
 105                         : "=a"(v)
 106                         : "a"(0), "r"(thread), "r"(&Lock->Lock)
 107                         );
 108                 #else
 109                 __ASM__("xchgl %0, (%2)":"=a"(v):"a"(1),"D"(&Lock->Lock));
 110                 #endif
 111
 112                 #if LOCK_DISABLE_INTS
 113                 if( v ) __ASM__("sti"); // Re-enable interrupts
 114                 #endif
 115         }
 116
 117         #if LOCK_DISABLE_INTS
 118         __ASM__("cli");
 119         Lock->IF = IF;
 120         #endif
 121 }
 122 /**
 123  * \brief Release a short lock
 124  * \param Lock  Lock pointer
 125  */
 126 void SHORTREL(struct sShortSpinlock *Lock)
 127 {
 128         #if STACKED_LOCKS
 129         if( Lock->Depth ) {
 130                 Lock->Depth --;
 131                 return ;
 132         }
 133         #endif
 134
 135         #if LOCK_DISABLE_INTS
 136         // Lock->IF can change anytime once Lock->Lock is zeroed
 137         if(Lock->IF) {
 138                 Lock->Lock = 0;
 139                 __ASM__ ("sti");
 140         }
 141         else {
 142                 Lock->Lock = 0;
 143         }
 144         #else
 145         Lock->Lock = 0;
 146         #endif
 147 }
 148
 149 // === DEBUG IO ===
 150 #if USE_GDB_STUB
 151 void initGdbSerial(void)
 152 {
 153         outb(GDB_SERIAL_PORT + 1, 0x00);    // Disable all interrupts
 154         outb(GDB_SERIAL_PORT + 3, 0x80);    // Enable DLAB (set baud rate divisor)
 155         outb(GDB_SERIAL_PORT + 0, 0x0C);    // Set divisor to 12 (lo byte) 9600 baud
 156         outb(GDB_SERIAL_PORT + 1, 0x00);    //  (base is         (hi byte)
 157         outb(GDB_SERIAL_PORT + 3, 0x03);    // 8 bits, no parity, one stop bit (8N1)
 158         outb(GDB_SERIAL_PORT + 2, 0xC7);    // Enable FIFO with 14-byte threshold and clear it
 159         outb(GDB_SERIAL_PORT + 4, 0x0B);    // IRQs enabled, RTS/DSR set
 160         gbDebug_SerialSetup = 1;
 161 }
 162 int putDebugChar(char ch)
 163 {
 164         if(!gbGDB_SerialSetup) {
 165                 initGdbSerial();
 166         }
 167         while( (inb(GDB_SERIAL_PORT + 5) & 0x20) == 0 );
 168         outb(GDB_SERIAL_PORT, ch);
 169         return 0;
 170 }
 171 int getDebugChar(void)
 172 {
 173         if(!gbGDB_SerialSetup) {
 174                 initGdbSerial();
 175         }
 176         while( (inb(GDB_SERIAL_PORT + 5) & 1) == 0)     ;
 177         return inb(GDB_SERIAL_PORT);
 178 }
 179 #endif
 180
 181 void Debug_SerialIRQHandler(int irq, void *unused)
 182 {
 183         if( (inb(SERIAL_PORT+5) & 0x01) == 0 ) {
 184                 Debug("Serial no data");
 185                 return ;
 186         }
 187
 188         char ch = inb(SERIAL_PORT);
 189         //Debug("Serial RX 0x%x", ch);
 190         Serial_ByteReceived(gSerial_KernelDebugPort, ch);
 191 }
 192
 193 void Debug_PutCharDebug(char ch)
 194 {
 195         #if DEBUG_TO_E9
 196         __asm__ __volatile__ ( "outb %%al, $0xe9" :: "a"(((Uint8)ch)) );
 197         #endif
 198
 199         #if DEBUG_TO_SERIAL
 200         if(!gbDebug_SerialSetup) {
 201                 outb(SERIAL_PORT + 1, 0x00);    // Disable all interrupts
 202                 outb(SERIAL_PORT + 3, 0x80);    // Enable DLAB (set baud rate divisor)
 203                 outb(SERIAL_PORT + 0, 0x0C);    // Set divisor to 12 (lo byte) 9600 baud
 204                 outb(SERIAL_PORT + 1, 0x00);    //                   (hi byte)
 205                 outb(SERIAL_PORT + 3, 0x03);    // 8 bits, no parity, one stop bit
 206                 outb(SERIAL_PORT + 2, 0xC7);    // Enable FIFO with 14-byte threshold and clear it
 207                 outb(SERIAL_PORT + 4, 0x0B);    // IRQs enabled, RTS/DSR set
 208                 outb(SERIAL_PORT + 1, 0x05);    // Enable ERBFI (Rx Full), ELSI (Line Status)
 209                 gbDebug_SerialSetup = 1;
 210                 IRQ_AddHandler(4, Debug_SerialIRQHandler, NULL);
 211         }
 212         while( (inb(SERIAL_PORT + 5) & 0x20) == 0 );
 213         outb(SERIAL_PORT, ch);
 214         #endif
 215 }
 216
 217 void Debug_PutStringDebug(const char *String)
 218 {
 219         while(*String)
 220                 Debug_PutCharDebug(*String++);
 221 }
 222
 223 // === PORT IO ===
 224 void outb(Uint16 Port, Uint8 Data)
 225 {
 226         __asm__ __volatile__ ("outb %%al, %%dx"::"d"(Port),"a"(Data));
 227 }
 228 void outw(Uint16 Port, Uint16 Data)
 229 {
 230         __asm__ __volatile__ ("outw %%ax, %%dx"::"d"(Port),"a"(Data));
 231 }
 232 void outd(Uint16 Port, Uint32 Data)
 233 {
 234         __asm__ __volatile__ ("outl %%eax, %%dx"::"d"(Port),"a"(Data));
 235 }
 236 Uint8 inb(Uint16 Port)
 237 {
 238         Uint8   ret;
 239         __asm__ __volatile__ ("inb %%dx, %%al":"=a"(ret):"d"(Port));
 240         return ret;
 241 }
 242 Uint16 inw(Uint16 Port)
 243 {
 244         Uint16  ret;
 245         __asm__ __volatile__ ("inw %%dx, %%ax":"=a"(ret):"d"(Port));
 246         return ret;
 247 }
 248 Uint32 ind(Uint16 Port)
 249 {
 250         Uint32  ret;
 251         __asm__ __volatile__ ("inl %%dx, %%eax":"=a"(ret):"d"(Port));
 252         return ret;
 253 }
 254
 255 // === Endianness ===
 256 /*
 257 Uint32 BigEndian32(Uint32 Value)
 258 {
 259         Uint32  ret;
 260         ret = (Value >> 24);
 261         ret |= ((Value >> 16) & 0xFF) << 8;
 262         ret |= ((Value >>  8) & 0xFF) << 16;
 263         ret |= ((Value >>  0) & 0xFF) << 24;
 264         return ret;
 265 }
 266
 267 Uint16 BigEndian16(Uint16 Value)
 268 {
 269         return  (Value>>8)|(Value<<8);
 270 }
 271 */
 272
 273 // === Memory Manipulation ===
 274 int memcmp(const void *__dest, const void *__src, size_t __count)
 275 {
 276         if( ((tVAddr)__dest & 7) != ((tVAddr)__src & 7) ) {
 277                 const Uint8     *src = __src, *dst = __dest;
 278                 while(__count)
 279                 {
 280                         if( *src != *dst )
 281                                 return *dst - *src;
 282                         src ++; dst ++; __count --;
 283                 }
 284                 return 0;
 285         }
 286         else {
 287                 const Uint8     *src = __src;
 288                 const Uint8     *dst = __dest;
 289                 const Uint64    *src64, *dst64;
 290
 291                 while( (tVAddr)src & 7 && __count ) {
 292                         if( *src != *dst )
 293                                 return *dst - *src;
 294                         dst ++; src ++; __count --;
 295                 }
 296
 297                 src64 = (void*)src;
 298                 dst64 = (void*)dst;
 299
 300                 while( __count >= 8 )
 301                 {
 302                         if( *src64 != *dst64 )
 303                         {
 304                                 src = (void*)src64;
 305                                 dst = (void*)dst64;
 306                                 if(src[0] != dst[0])    return dst[0]-src[0];
 307                                 if(src[1] != dst[1])    return dst[1]-src[1];
 308                                 if(src[2] != dst[2])    return dst[2]-src[2];
 309                                 if(src[3] != dst[3])    return dst[3]-src[3];
 310                                 if(src[4] != dst[4])    return dst[4]-src[4];
 311                                 if(src[5] != dst[5])    return dst[5]-src[5];
 312                                 if(src[6] != dst[6])    return dst[6]-src[6];
 313                                 if(src[7] != dst[7])    return dst[7]-src[7];
 314                                 return -1;      // This should never happen
 315                         }
 316                         __count -= 8;
 317                         src64 ++;
 318                         dst64 ++;
 319                 }
 320
 321                 src = (void*)src64;
 322                 dst = (void*)dst64;
 323                 while( __count-- )
 324                 {
 325                         if(*dst != *src)        return *dst - *src;
 326                         dst ++;
 327                         src ++;
 328                 }
 329         }
 330         return 0;
 331 }
 332
 333 void *memcpy(void *__dest, const void *__src, size_t __count)
 334 {
 335         tVAddr  dst = (tVAddr)__dest, src = (tVAddr)__src;
 336         if( (dst & 7) != (src & 7) )
 337         {
 338                 __asm__ __volatile__ ("rep movsb" : : "D"(dst),"S"(src),"c"(__count));
 339         }
 340         else
 341         {
 342                 while( (src & 7) && __count ) {
 343                         *(char*)dst++ = *(char*)src++;
 344                         __count --;
 345                 }
 346
 347                 __asm__ __volatile__ ("rep movsq" : "=D"(dst),"=S"(src) : "0"(dst),"1"(src),"c"(__count/8));
 348                 __count = __count & 7;
 349                 while( __count-- )
 350                         *(char*)dst++ = *(char*)src++;
 351         }
 352         return __dest;
 353 }
 354
 355 void *memset(void *__dest, int __val, size_t __count)
 356 {
 357         if( __val != 0 || ((tVAddr)__dest & 7) != 0 )
 358                 __asm__ __volatile__ ("rep stosb" : : "D"(__dest),"a"(__val),"c"(__count));
 359         else {
 360                 Uint8   *dst = __dest;
 361
 362                 __asm__ __volatile__ ("rep stosq" : : "D"(dst),"a"(0),"c"(__count/8));
 363                 dst += __count & ~7;
 364                 __count = __count & 7;
 365                 while( __count-- )
 366                         *dst++ = 0;
 367         }
 368         return __dest;
 369 }
 370
 371 void *memsetd(void *__dest, Uint32 __val, size_t __count)
 372 {
 373         __asm__ __volatile__ ("rep stosl" : : "D"(__dest),"a"(__val),"c"(__count));
 374         return __dest;
 375 }
 376
 377 Uint64 DivMod64U(Uint64 Num, Uint64 Den, Uint64 *Rem)
 378 {
 379         Uint64  ret, rem;
 380         __asm__ __volatile__(
 381                 "div %4"
 382                 : "=a" (ret), "=d" (rem)
 383                 : "a" ( Num ), "d" (0), "r" (Den)
 384                 );
 385         if(Rem) *Rem = rem;
 386         return ret;
 387 }
 388
 389 EXPORT(memcpy);
 390 EXPORT(memset);
 391