Guest
Сперва необходим анализ, что именно она должна делать и чего делать не должна. Тут же решается общая архитектура в плане работы с устройствами, пользователями, процессами и т.п. вплоть до RTOS-ности и модульности. Тут же - концепция безопасности.
После этого, для контроля, необходимо выделить моменты, которые реализованы в некоторых существующих системах (прежде всего NT/Linux/BSD/QNX), и понять, какие у Вас будут отличия и что за ними последует (иначе неизбежно изобретение велосипеда). Прежде всего это касается того, что будет в ядре и будет микроядерная архитектура или нет. Интересно, по крайней мере мне, какие именно нововведения планируются по сравнению с перечисленной линейкой.
Файловую систему без необходимости лучше не изобретать, их и так сотня наверное, а просто драйвером ограничиться (кстати, архитектура FSD - тоже немалая тема для дискуссии).
В каком порядке писать компоненты - абсолютно фиолетово. Более того, загрузчик можно вообще не писать

.