[lxa85]

_VIN_, "исторически сложилось" использование 8бит в технике (микропроцессоры, шины передачи данных и т.д.)
Кто то октет битов назвал байтом, от сюда все и началось. Используй оно 12 или 16 бит, может быть назвали бы по другому.
Если действительно интересно история создания, то вам надо поискать и почитать литературу по микропроцессорам. Причем годов так 80х наверно. Может даже 70х (ну это я так "пальцем в небо"). И соотв историю развития цифровой техники.
Почему 2 4 8 16 32 ... проще спросить википедию про "Двоичный код"
Можно почитать про асемблер. И соотв посмотреть, с чем работает процессор. Какие у него регистры, зачем они нужны и т.д. На уровне процессоров идет работа в байтах - словах и т.д.
Самое вообще шикарное - разобраться с открытой спецификацией на SPARC процессорами.
Проект OpenSPARC и язык Verilog в помощь (описание процессора на языке Verilog порядка 250Мб в архиве) Документация в pdf отдельно.