[lxa85]

Lagos, они отвечают практически прямому твоему вопросу: создание движка на С++. Там изложена краткая математика вопроса + проиллюстрировано обширными примерами с комментариями.
Как рисуется треугольник, как он заливается цветом, текстурой, построение глубины пространства и т.п.
Lagos, к сожалению дальше с фамилиями сложно. Поэтому "крупными мазками":
Машинная графика, теория и алгоритмы. (Собственно фундаментальные математические основы алгоритмов построения пространства в области видимости камеры)
Создание многопоточных приложений. И другие способы ускорения вычислений.
В большей степени здесь могут быть интересны не столько книги по С++, сколько книги по прикладной теории компьютерной графики.