[ChVL]

C помощью добрых людей решение найдено. Нельзя называть свою функцию тем же именем IsWin64. Правильный вариант должен быть таким (может кому-то пригодится):

Код:

[_Files] 
Source: "file32.dll" ; DestDir: "{pf}";  Flags: regserver noregerror onlyifdoesntexist; Check: (not IsX64);
Source: "file64.dll" ; DestDir: "{pf}";  Flags: regserver noregerror onlyifdoesntexist; Check: IsX64;
 
[_Code]
function IsX64: boolean;
begin
 if IsWin64 then  
 begin
  MsgBox('64-bit program files reside in: ' +  ExpandConstant('{pf}'), mbInformation,   MB_OK);  
 Result:=True;
 end
 else
  begin
   MsgBox('32-bit program files reside in: ' +  ExpandConstant('{pf}'), mbInformation,   MB_OK);  
  Result:=False;
  end;

Если окна не нужны, то строчки MsgBox просто убрать.