[kotyarko@fb]

когда нажимаю "Нет", то установка продолжается, и процесс не закрывается »

На нажатие "нет" можно повесить процедуру Abort. При этом не стоит забывать, что при аборте будет вызываться процедура DeinitializeSetup, и если в ней есть что-то связанное с визадом (например, WizardForm.Free), то программа будет ругаться. Это можно решить создав булевую переменную, и присваивать ей определённые значения, которые будут проверяться; и в зависимости от результата выполняться та же WizardForm.Free.
Это решение при нескольких функциях InitializeSetup, когда Result := False не решает.