[urius]

проверьте тайминги памяти и правильность установки в слоты для включения 2-х канального режима работы - на некоторых материнках бывает так, что устанавливать надо не в одноцветные, а как раз в разноцветные слоты, хотя в инструкции написано обратное. проверяйте экспериментально, оставив 2 одинаковых модуля. после того, как определитесь с 2-х канальным режимом, выставляйте в bios тайминги наиболее медленной памяти(наибольшие значения параметров).
не исключено, что происходит перегрев видеокарты или она бракованная. проверить можно, запустив программу наподобие 3dmark(или попроще программа atitool) и измерив температуру программой everest или rivatuner(в ней же кстати и частоты работы карты можно посмотреть). как измерите, приведите цифры.
вентилятор на вдув желательно оставить и заменить на тихоходный и качественный, а вот корзину под него лучше убрать и крепить через резиновые втулочки, если это возможно.
может быть и блок питания слабоват - фирму производитель и его марку огласите.
с сайта nvidia.com скачайте и установите последнюю версию драйвера для вашей карты.