[Savant]

3) ln(x) = log(x)
4) for( j=0; j<=15) <- красиво написал, если б точку с запятой не забыл был бы еще один бесконечный цикл

Пробуем так:

Код:

  while (j < 15)
  {
    /* показать - X, " | " */
    printf ("\n%01.2f | ", X);
    /* Operation X = X + D */
    X = X + D;
    /* Operation D = D * C */
    D = D * C;
    /* Operation j = j + 1 */
    j ++;
    if ((X < 0) || (atan(X) * sin(5*X) <= 0))
    {
      printf ("Y undefined");
      continue;
    }
    Y = log(atan(X)*sin(5*X)) + sqrt(3*X*X*X);
    if (Y > YM)
    {
      printf("Y too high , exiting ;-)");
      break;
    }
    printf ("Y = %01.2f", Y);
  }
  getch();

ну т.е. все, что ниже while(...) заменяем на это