Новости
Видео
Microsoft
Windows 10
Железо
Программы
Форум

Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Программирование и базы данных » MSFT SQL Server - ISA 2004 Std + SQL Server 2000 SP4 Логгирование

Ответить
Настройки темы
MSFT SQL Server - ISA 2004 Std + SQL Server 2000 SP4 Логгирование

Аватара для Delirium

Ветеран


Сообщения: 5624
Благодарности: 936

Профиль | Отправить PM | Цитировать

Имеем логи с вышеуказанной системы. В таблицах Webproxylog - 350 000 записей, в Firewalllog - 4 000 000. Если писать простой запрос вида
Код: Выделить весь код
select count(1) from firewalllog
, то подсчет количества строк занимает около 4 секунд.
Если же запрос чуть чуть более сложный, а именно

Код: Выделить весь код
select Destination, sum(bytesrecvd) from firewalllog where rtrim(destinationNetwork)='External' and bytesrecvd <>0.0
and rtrim(OriginalClientIP) = '172.28.95.1' and (logdate between '2009-07-01' and '2009-07-21')
group by Destination order by sum(bytesrecvd)
Запрос элементарный, однако после 45 минут ожидания результат не появился.
В чем проблема? Если я пишу запрос типа

Код: Выделить весь код
select Destination from firewalllog where rtrim(destinationNetwork)='External'
То результат мгновенен. Т.е. индексы работают.

В чем может быть причина такой медленной обработки данных?

-------

Пройденные курсы:
[Microsoft №10174 Sharepoint], [SharePoint]
Мои проекты:[CheckAdmins], [NetSend7], [System Uptime], [Remote RAdmin LogViewer],[Netdom GDI], [Holidays - напоминалка о днях рождения]

А я офис-гуру :)

Отправлено: 01:10, 22-07-2009

 

Ветеран


Сообщения: 3806
Благодарности: 824

Профиль | Отправить PM | Цитировать

а logdate тоже проиндексирован? rtrim обязателен?

Отправлено: 20:43, 27-07-2009 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Аватара для Delirium

Ветеран


Сообщения: 5624
Благодарности: 936

Профиль | Отправить PM | Цитировать

Цитата Busla:
logdate тоже проиндексирован? rtrim обязателен? »
Да, проиндексирован. rtrim обязателен в том плане, что иногда
OriginalClientIP = '172.28.95.1' не сработает, т.к. в OriginalClientIP могут быть последующие пробелы.

-------

Пройденные курсы:
[Microsoft №10174 Sharepoint], [SharePoint]
Мои проекты:[CheckAdmins], [NetSend7], [System Uptime], [Remote RAdmin LogViewer],[Netdom GDI], [Holidays - напоминалка о днях рождения]

А я офис-гуру :)

Отправлено: 01:42, 28-07-2009 | #3


Ветеран


Сообщения: 3806
Благодарности: 824

Профиль | Отправить PM | Цитировать

Delirium, я больше всего грешу на rtrim и тут ничего не поделаешь - результаты выполнения функций не индексируются. Можно "помухлевать" с триггерами, полями по умолчанию и в результате заставить SQL сразу писать правильный лог - без хвостовых пробелов. IP наверное будет правильнее вообще в виде числа хранить.

Отправлено: 12:59, 29-07-2009 | #4


Аватара для Delirium

Ветеран


Сообщения: 5624
Благодарности: 936

Профиль | Отправить PM | Цитировать

Busla, я могу вообще исключить rtrim и эту проверку, я просто пример привел. С триггерами и прочим мухлевать - не выход. IP будет храниться только так, т.к. это стандартное логгирование ISA Server, если поменять структуру базы, будет исключение. У меня раньше миллионы записей лопатил быстро(на других серверах) в других организациях. Здесь же такая загвоздка.

-------

Пройденные курсы:
[Microsoft №10174 Sharepoint], [SharePoint]
Мои проекты:[CheckAdmins], [NetSend7], [System Uptime], [Remote RAdmin LogViewer],[Netdom GDI], [Holidays - напоминалка о днях рождения]

А я офис-гуру :)

Отправлено: 01:07, 30-07-2009 | #5


Ветеран


Сообщения: 3806
Благодарности: 824

Профиль | Отправить PM | Цитировать

Тогда только стандартные решения: посмотреть план выполнения; включить трассировку, дождаться выполнения запроса (оставить на ночь), посмотреть какую оптимизацию предложит встроенный анализатор.

Отправлено: 22:27, 30-07-2009 | #6


Аватара для Delirium

Ветеран


Сообщения: 5624
Благодарности: 936

Профиль | Отправить PM | Цитировать

Оптимизатор предложил мне только поля logdate и logtime индексировать, 99% времени в плане выполнения - select....
У меня есть одно подозрение - у данной БД стоит модель логов - SIMPLE. При попытке индексирования вышеуказанных полей выдается предупреждение "Log file is full". Возможно, необходимо изменить уровень логгирования на Medium или Full, и тогда все заработает. На след. неделе проверю.

-------

Пройденные курсы:
[Microsoft №10174 Sharepoint], [SharePoint]
Мои проекты:[CheckAdmins], [NetSend7], [System Uptime], [Remote RAdmin LogViewer],[Netdom GDI], [Holidays - напоминалка о днях рождения]

А я офис-гуру :)

Отправлено: 01:10, 31-07-2009 | #7


Ветеран


Сообщения: 3806
Благодарности: 824

Профиль | Отправить PM | Цитировать

сомнительно - уровень логирования задаёт регулярность очистки логов simple - сразу, full - только принудительно
а SQL Server настоящий, не MSDE? Места на разделе хватает? Автоприращение лог-файла включено?

Отправлено: 20:47, 31-07-2009 | #8



Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Программирование и базы данных » MSFT SQL Server - ISA 2004 Std + SQL Server 2000 SP4 Логгирование

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
[решено] ISA 2004: The ISA Server denied the specified exo ISA Server / Microsoft Forefront TMG 10 02-04-2009 18:09
[решено] Маршрутизация Internet через разные каналы на ISA 2004 std Delirium ISA Server / Microsoft Forefront TMG 3 23-06-2008 10:19
Использование - [решено] Лицензирование Windows Server 2003 Std + ISA Server 2006 1Proc infbiz Лицензирование продуктов Microsoft 1 07-05-2008 18:12
Переход с ISA 2000 Enterprice на ISA 2004 vitaly_mal ISA Server / Microsoft Forefront TMG 6 07-04-2008 15:16
Проблема с ISA 2004 STD SP2 Trial UnDetect ISA Server / Microsoft Forefront TMG 7 17-05-2006 09:41


« Предыдущая тема | Следующая тема »


 
Переход