А какие ты числа вводишь в Edit1?
Вот такой вот код прекрасно работает при числах -1..1:
Код:

#include <vcl.h>
#include <math.h>
#pragma hdrstop
#include "Unit1.h"
//---------------------------------------------------------------------------
#pragma package(smart_init)
#pragma resource "*.dfm"
TForm1 *Form1;
//---------------------------------------------------------------------------
__fastcall TForm1::TForm1(TComponent* Owner)
: TForm(Owner)
{
}
//---------------------------------------------------------------------------
void __fastcall TForm1::Button1Click(TObject *Sender)
{
double x = StrToFloat(Edit1->Text);
double u = acos(x);
Edit2->Text = FloatToStr(u);
}
//---------------------------------------------------------------------------