Changed to a classfull sequential allocation algo
[tpg/acess2.git] / Kernel / arch / x86 / mm_phys.c
1 /*
2  * Acess2
3  * - Physical memory manager
4  */
5 #define DEBUG   0
6 #include <acess.h>
7 #include <mboot.h>
8 #include <mm_virt.h>
9
10 //#define USE_STACK     1
11 #define TRACE_ALLOCS    0       // Print trace messages on AllocPhys/DerefPhys
12
13 #define REFERENCE_BASE  0xE0400000
14
15 // === IMPORTS ===
16 extern void     gKernelEnd;
17
18 // === PROTOTYPES ===
19 tPAddr  MM_AllocPhys(void);
20 tPAddr  MM_AllocPhysRange(int Pages, int MaxBits);
21 void    MM_RefPhys(tPAddr PAddr);
22 void    MM_DerefPhys(tPAddr PAddr);
23
24 // === GLOBALS ===
25 tMutex  glPhysAlloc;
26 Uint64  giPhysAlloc = 0;        // Number of allocated pages
27 Uint64  giPageCount = 0;        // Total number of pages
28 Uint64  giLastPossibleFree = 0; // Last possible free page (before all pages are used)
29
30 Uint32  gaSuperBitmap[1024];    // Blocks of 1024 Pages
31 Uint32  gaPageBitmap[1024*1024/32];     // Individual pages
32 Uint32  *gaPageReferences;
33
34 // === CODE ===
35 void MM_Install(tMBoot_Info *MBoot)
36 {
37         Uint    kernelPages, num;
38         Uint    i;
39         Uint64  maxAddr = 0;
40         tMBoot_Module   *mods;
41         tMBoot_MMapEnt  *ent;
42         
43         // --- Find largest address
44         MBoot->MMapAddr |= KERNEL_BASE;
45         ent = (void *)( MBoot->MMapAddr );
46         while( (Uint)ent < MBoot->MMapAddr + MBoot->MMapLength )
47         {
48                 // Adjust for size
49                 ent->Size += 4;
50                 
51                 // If entry is RAM and is above `maxAddr`, change `maxAddr`
52                 if(ent->Type == 1 && ent->Base + ent->Length > maxAddr)
53                         maxAddr = ent->Base + ent->Length;
54                 // Go to next entry
55                 ent = (tMBoot_MMapEnt *)( (Uint)ent + ent->Size );
56         }
57         
58         if(maxAddr == 0) {      
59                 giPageCount = (MBoot->HighMem >> 2) + 256;      // HighMem is a kByte value
60         }
61         else {
62                 giPageCount = maxAddr >> 12;
63         }
64         giLastPossibleFree = giPageCount - 1;
65         
66         memsetd(gaPageBitmap, 0xFFFFFFFF, giPageCount/32);
67         
68         // Set up allocateable space
69         ent = (void *)( MBoot->MMapAddr );
70         while( (Uint)ent < MBoot->MMapAddr + MBoot->MMapLength )
71         {               
72                 memsetd( &gaPageBitmap[ent->Base/(4096*32)], 0, ent->Length/(4096*32) );
73                 ent = (tMBoot_MMapEnt *)( (Uint)ent + ent->Size );
74         }
75         
76         // Get used page count (Kernel)
77         kernelPages = (Uint)&gKernelEnd - KERNEL_BASE - 0x100000;
78         kernelPages += 0xFFF;   // Page Align
79         kernelPages >>= 12;
80         
81         // Fill page bitmap
82         num = kernelPages/32;
83         memsetd( &gaPageBitmap[0x100000/(4096*32)], -1, num );
84         gaPageBitmap[ 0x100000/(4096*32) + num ] = (1 << (kernelPages & 31)) - 1;
85         
86         // Fill Superpage bitmap
87         num = kernelPages/(32*32);
88         memsetd( &gaSuperBitmap[0x100000/(4096*32*32)], -1, num );
89         gaSuperBitmap[ 0x100000/(4096*32*32) + num ] = (1 << ((kernelPages / 32) & 31)) - 1;
90         
91         // Mark Multiboot's pages as taken
92         // - Structure
93         MM_RefPhys( (Uint)MBoot - KERNEL_BASE );
94         // - Module List
95         for(i = (MBoot->ModuleCount*sizeof(tMBoot_Module)+0xFFF)>12; i--; )
96                 MM_RefPhys( MBoot->Modules + (i << 12) );
97         // - Modules
98         mods = (void*)(MBoot->Modules + KERNEL_BASE);
99         for(i = 0; i < MBoot->ModuleCount; i++)
100         {
101                 num = (mods[i].End - mods[i].Start + 0xFFF) >> 12;
102                 while(num--)
103                         MM_RefPhys( (mods[i].Start & ~0xFFF) + (num<<12) );
104         }
105         
106         // Allocate References
107         //LOG("Reference Pages %i", (giPageCount*4+0xFFF)>>12);
108         for(num = 0; num < (giPageCount*4+0xFFF)>>12; num++)
109         {
110                 if( !MM_Allocate( REFERENCE_BASE + (num<<12) ) )
111                 {
112                         Panic("Oh, ****, no space for the reference pages, that's bad");
113                         for(;;);
114                 }
115         }
116         
117         //LOG("Filling");
118         // Fill references
119         gaPageReferences = (void*)REFERENCE_BASE;
120         memsetd(gaPageReferences, 1, kernelPages);
121         for( num = kernelPages; num < giPageCount; num++ )
122         {
123                 gaPageReferences[num] = (gaPageBitmap[ num / 32 ] >> (num&31)) & 1;
124         }
125 }
126
127 /**
128  * \fn tPAddr MM_AllocPhys(void)
129  * \brief Allocates a physical page from the general pool
130  */
131 tPAddr MM_AllocPhys(void)
132 {
133         // int  a, b, c;
134          int    indx = -1;
135         tPAddr  ret;
136         
137         ENTER("");
138         
139         Mutex_Acquire( &glPhysAlloc );
140         
141         // Classful scan
142         #if 1
143         {
144         const int addrClasses[] = {0,16,20,24,32,64};
145         const int numAddrClasses = sizeof(addrClasses)/sizeof(addrClasses[0]);
146          int    i;
147          int    first, last;
148         for( i = numAddrClasses; i -- > 1; )
149         {
150 //              Log("Scanning %i (%i bits)", i, addrClasses[i]);
151                 first = 1 << (addrClasses[i-1] - 12);
152                 last = (1 << (addrClasses[i] - 12)) - 1;
153                 // Range is above the last free page
154                 if( first > giLastPossibleFree )
155                         continue;
156                 // Last possible free page is in the range
157                 if( last > giLastPossibleFree )
158                         last = giLastPossibleFree;
159                         
160 //              Log(" first=%i,max=%i", first, last);
161                 // Scan the range
162                 for( indx = first; indx < last; )
163                 {
164 //                      Log("indx = %i (< %i?)", indx, last);
165                         if( gaSuperBitmap[indx>>10] == -1 ) {
166                                 indx += 1024;
167                                 continue;
168                         }
169                         
170                         if( gaPageBitmap[indx>>5] == -1 ) {
171                                 indx += 32;
172                                 continue;
173                         }
174                         
175                         if( gaPageBitmap[indx>>5] & (1 << (indx&31)) ) {
176                                 indx ++;
177                                 continue;
178                         }
179                         break;
180                 }
181                 if( indx < last )       break;
182                 
183                 giLastPossibleFree = first;     // Well, we couldn't find any in this range
184         }
185         // Out of memory?
186         if( i <= 1 )    indx = -1;
187 //      Log("indx = %i", indx);
188         }
189         #elif 0
190         // Find free page
191         // Scan downwards
192         LOG("giLastPossibleFree = %i", giLastPossibleFree);
193         for( indx = giLastPossibleFree; indx >= 0; )
194         {
195                 if( gaSuperBitmap[indx>>10] == -1 ) {
196                         indx -= 1024;
197                         continue;
198                 }
199                 
200                 if( gaPageBitmap[indx>>5] == -1 ) {
201                         indx -= 32;
202                         continue;
203                 }
204                 
205                 if( gaPageBitmap[indx>>5] & (1 << (indx&31)) ) {
206                         indx --;
207                         continue;
208                 }
209                 break;
210         }
211         if( indx >= 0 )
212                 giLastPossibleFree = indx;
213         LOG("indx = %i", indx);
214         #else
215         c = giLastPossibleFree % 32;
216         b = (giLastPossibleFree / 32) % 32;
217         a = giLastPossibleFree / 1024;
218         
219         LOG("a=%i,b=%i,c=%i", a, b, c);
220         for( ; gaSuperBitmap[a] == -1 && a >= 0; a-- );
221         if(a < 0) {
222                 Mutex_Release( &glPhysAlloc );
223                 Warning("MM_AllocPhys - OUT OF MEMORY (Called by %p) - %lli/%lli used",
224                         __builtin_return_address(0), giPhysAlloc, giPageCount);
225                 LEAVE('i', 0);
226                 return 0;
227         }
228         for( ; gaSuperBitmap[a] & (1<<b); b-- );
229         for( ; gaPageBitmap[a*32+b] & (1<<c); c-- );
230         LOG("a=%i,b=%i,c=%i", a, b, c);
231         indx = (a << 10) | (b << 5) | c;
232         if( indx >= 0 )
233                 giLastPossibleFree = indx;
234         #endif
235         
236         if( indx < 0 ) {
237                 Mutex_Release( &glPhysAlloc );
238                 Warning("MM_AllocPhys - OUT OF MEMORY (Called by %p) - %lli/%lli used (indx = %x)",
239                         __builtin_return_address(0), giPhysAlloc, giPageCount, indx);
240                 Log_Debug("PMem", "giLastPossibleFree = %lli", giLastPossibleFree);
241                 LEAVE('i', 0);
242                 return 0;
243         }
244         
245         if( indx > 0xFFFFF ) {
246                 Panic("The fuck? Too many pages! (indx = 0x%x)", indx);
247         }
248         
249         // Mark page used
250         if(gaPageReferences)
251                 gaPageReferences[ indx ] = 1;
252         gaPageBitmap[ indx>>5 ] |= 1 << (indx&31);
253         
254         giPhysAlloc ++;
255         
256         // Get address
257         ret = indx << 12;
258         
259         // Mark used block
260         if(gaPageBitmap[ indx>>5 ] == -1) {
261                 gaSuperBitmap[indx>>10] |= 1 << ((indx>>5)&31);
262         }
263
264         // Release Spinlock
265         Mutex_Release( &glPhysAlloc );
266         
267         LEAVE('X', ret);
268         #if TRACE_ALLOCS
269         Log_Debug("PMem", "MM_AllocPhys: RETURN 0x%llx (%i free)", ret, giPageCount-giPhysAlloc);
270         #endif
271         return ret;
272 }
273
274 /**
275  * \fn tPAddr MM_AllocPhysRange(int Pages, int MaxBits)
276  * \brief Allocate a range of physical pages
277  * \param Pages Number of pages to allocate
278  * \param MaxBits       Maximum number of address bits to use
279  */
280 tPAddr MM_AllocPhysRange(int Pages, int MaxBits)
281 {
282          int    a, b;
283          int    i, idx, sidx;
284         tPAddr  ret;
285         
286         ENTER("iPages iMaxBits", Pages, MaxBits);
287         
288         // Sanity Checks
289         if(MaxBits < 0) {
290                 LEAVE('i', 0);
291                 return 0;
292         }
293         if(MaxBits > PHYS_BITS) MaxBits = PHYS_BITS;
294         
295         // Lock
296         Mutex_Acquire( &glPhysAlloc );
297         
298         // Set up search state
299         if( giLastPossibleFree > ((tPAddr)1 << (MaxBits-12)) ) {
300                 sidx = (tPAddr)1 << (MaxBits-12);
301         }
302         else {
303                 sidx = giLastPossibleFree;
304         }
305         idx = sidx / 32;
306         sidx %= 32;
307         b = idx % 32;
308         a = idx / 32;
309         
310         #if 0
311         LOG("a=%i, b=%i, idx=%i, sidx=%i", a, b, idx, sidx);
312         
313         // Find free page
314         for( ; gaSuperBitmap[a] == -1 && a --; )        b = 31;
315         if(a < 0) {
316                 Mutex_Release( &glPhysAlloc );
317                 Warning("MM_AllocPhysRange - OUT OF MEMORY (Called by %p)", __builtin_return_address(0));
318                 LEAVE('i', 0);
319                 return 0;
320         }
321         LOG("a = %i", a);
322         for( ; gaSuperBitmap[a] & (1 << b); b-- )       sidx = 31;
323         LOG("b = %i", b);
324         idx = a * 32 + b;
325         for( ; gaPageBitmap[idx] & (1 << sidx); sidx-- )
326                 LOG("gaPageBitmap[%i] = 0x%08x", idx, gaPageBitmap[idx]);
327         
328         LOG("idx = %i, sidx = %i", idx, sidx);
329         #else
330         
331         #endif
332         
333         // Check if the gap is large enough
334         while( idx >= 0 )
335         {
336                 // Find a free page
337                 for( ; ; )
338                 {
339                         // Bulk Skip
340                         if( gaPageBitmap[idx] == -1 ) {
341                                 idx --;
342                                 sidx = 31;
343                                 continue;
344                         }
345                         
346                         if( gaPageBitmap[idx] & (1 << sidx) ) {
347                                 sidx --;
348                                 if(sidx < 0) {  sidx = 31;      idx --; }
349                                 if(idx < 0)     break;
350                                 continue;
351                         }
352                         break;
353                 }
354                 if( idx < 0 )   break;
355                 
356                 // Check if it is a free range
357                 for( i = 0; i < Pages; i++ )
358                 {
359                         // Used page? break
360                         if( gaPageBitmap[idx] & (1 << sidx) )
361                                 break;
362                         
363                         sidx --;
364                         if(sidx < 0) {  sidx = 31;      idx --; }
365                         if(idx < 0)     break;
366                 }
367                 
368                 if( i == Pages )
369                         break;
370         }
371         
372         // Check if an address was found
373         if( idx < 0 ) {
374                 Mutex_Release( &glPhysAlloc );
375                 Warning("MM_AllocPhysRange - OUT OF MEMORY (Called by %p)", __builtin_return_address(0));
376                 LEAVE('i', 0);
377                 return 0;
378         }
379         
380         // Mark pages used
381         for( i = 0; i < Pages; i++ )
382         {
383                 if(gaPageReferences)
384                         gaPageReferences[idx*32+sidx] = 1;
385                 gaPageBitmap[ idx ] |= 1 << sidx;
386                 sidx ++;
387                 giPhysAlloc ++;
388                 if(sidx == 32) { sidx = 0;      idx ++; }
389         }
390         
391         // Get address
392         ret = (idx << 17) | (sidx << 12);
393         
394         // Mark used block
395         if(gaPageBitmap[ idx ] == -1)   gaSuperBitmap[idx/32] |= 1 << (idx%32);
396
397         // Release Spinlock
398         Mutex_Release( &glPhysAlloc );
399         
400         LEAVE('X', ret);
401         #if TRACE_ALLOCS
402         Log_Debug("PMem", "MM_AllocPhysRange: RETURN 0x%llx-0x%llx (%i free)",
403                 ret, ret + (1<<Pages)-1, giPageCount-giPhysAlloc);
404         #endif
405         return ret;
406 }
407
408 /**
409  * \fn void MM_RefPhys(tPAddr PAddr)
410  */
411 void MM_RefPhys(tPAddr PAddr)
412 {
413         // Get page number
414         PAddr >>= 12;
415         
416         // We don't care about non-ram pages
417         if(PAddr >= giPageCount)        return;
418         
419         // Lock Structures
420         Mutex_Acquire( &glPhysAlloc );
421         
422         // Reference the page
423         if(gaPageReferences)
424                 gaPageReferences[ PAddr ] ++;
425         
426         // Mark as used
427         gaPageBitmap[ PAddr / 32 ] |= 1 << (PAddr&31);
428         
429         // Mark used block
430         if(gaPageBitmap[ PAddr / 32 ] == -1)
431                 gaSuperBitmap[PAddr/1024] |= 1 << ((PAddr/32)&31);
432         
433         // Release Spinlock
434         Mutex_Release( &glPhysAlloc );
435 }
436
437 /**
438  * \fn void MM_DerefPhys(tPAddr PAddr)
439  * \brief Dereferences a physical page
440  */
441 void MM_DerefPhys(tPAddr PAddr)
442 {
443         // Get page number
444         PAddr >>= 12;
445         
446         // We don't care about non-ram pages
447         if(PAddr >= giPageCount)        return;
448         
449         // Check if it is freed
450         if(gaPageReferences[ PAddr ] == 0) {
451                 Warning("MM_DerefPhys - Non-referenced memory dereferenced");
452                 return;
453         }
454         
455         // Lock Structures
456         Mutex_Acquire( &glPhysAlloc );
457         
458         if( giLastPossibleFree < PAddr )
459                 giLastPossibleFree = PAddr;
460
461         // Dereference
462         gaPageReferences[ PAddr ] --;
463         
464         // Mark as free in bitmaps
465         if( gaPageReferences[ PAddr ] == 0 )
466         {
467                 #if TRACE_ALLOCS
468                 Log_Debug("PMem", "MM_DerefPhys: Free'd 0x%x (%i free)", PAddr, giPageCount-giPhysAlloc);
469                 #endif
470                 //LOG("Freed 0x%x by %p\n", PAddr<<12, __builtin_return_address(0));
471                 giPhysAlloc --;
472                 gaPageBitmap[ PAddr / 32 ] &= ~(1 << (PAddr&31));
473                 if(gaPageReferences[ PAddr ] == 0)
474                         gaSuperBitmap[ PAddr >> 10 ] &= ~(1 << ((PAddr >> 5)&31));
475         }
476         
477         // Release spinlock
478         Mutex_Release( &glPhysAlloc );
479 }
480
481 /**
482  * \fn int MM_GetRefCount(tPAddr Addr)
483  */
484 int MM_GetRefCount(tPAddr Addr)
485 {
486         // Get page number
487         Addr >>= 12;
488         
489         // We don't care about non-ram pages
490         if(Addr >= giPageCount) return -1;
491         
492         // Check if it is freed
493         return gaPageReferences[ Addr ];
494 }

UCC git Repository :: git.ucc.asn.au