Войти

Показать полную графическую версию : Что-то нагружает одно ядро на 100%

Страниц : [1] 2
d0ublezer0
26-09-2018, 08:59
Привет.
Есть сервер терминалов Windows Server 2008R2
https://image.prntscr.com/image/U0adnP9mTBiNhrLVlijmSw.png

Нагрузка:
1С 8 БП, 2 пользователя файловой базы и 4 пользователя SQL базы и 1С 7 файловая, один пользователь
Базы лежат на SSD

в какой-то момент времени внезапно нагружается одно ядро процессора на 100%
https://image.prntscr.com/image/geTWfrSDSiiU-uIqewDvdg.png

при том в списке процессов ничего ресурсоемкого нет, с виду вообще всё бездействует. Забито только одно ядро.
Если навести курсор на это ядро, отображается только процесс "system"
И всё тормозит, естественно.
После перезагрузки все приходит в норму:
https://image.prntscr.com/image/7XlVMUoCSb_ykiNPjCU19g.png

Никак не могу вычислить, что вызывает такую реактивную нагрузку.
Какие варианты есть, как проверить?
paranoya
26-09-2018, 09:33
В момент появления проблемы запустить process explorer и смотреть, что нагружает ядро.
d0ublezer0
26-09-2018, 10:10
В момент появления проблемы запустить process explorer и смотреть, что нагружает ядро. »
Как раз это и есть на скриншоте и это же описано в вопросе: не понятно, что грузит.
У каждого процесса в списке - минимальная нагрузка, 2-3% всего.
Посмотрите на картинку - общая загруженность процессора 8.73%, она распределена по всем процессам.

При том одно ядро загружено на 100%
Парадокс.
Petya V4sechkin
26-09-2018, 10:50
Если навести курсор на это ядро, отображается только процесс "system"
Запустите Process Explorer от имени Администратора -> во время тормоза на процессе System правой кнопкой мыши -> Properties -> вкладка Threads -> сортировка по столбцу CPU -> покажите скриншот. Там же выделите поток, грузящий процессор -> нажмите кнопку Stack -> покажите скриншот.

Дополнительно сделайте лог Kernrate (http://forum.oszone.net/showpost.php?p=1714473) во время тормоза.
d0ublezer0
28-09-2018, 09:00
Процесс System
https://image.prntscr.com/image/qMtnu2rxTs69OzigplZCew.png

При нажатии на кнопку Stack для верхнего процесса:
https://image.prntscr.com/image/O7NUboFoTNGUDSEQ43eq1A.png
E:\>KernRate.exe
/==============================\
< KERNRATE LOG >
\==============================/
Date: 2018/09/28 Time: 8:57:53
Machine Name: TM-SERVER
Number of Processors: 16
PROCESSOR_ARCHITECTURE: AMD64
PROCESSOR_LEVEL: 6
PROCESSOR_REVISION: 2d06
Physical Memory: 65502 MB
Pagefile Total: 131000 MB
Virtual Total: 8388607 MB
PageFile1: \??\C:\pagefile.sys, 65501MB
OS Version: 6.1 Build 7601 Service-Pack: 1.0
WinDir: C:\Windows

Kernrate Executable Location: E:

Kernrate User-Specified Command Line:
KernRate.exe


Kernel Profile (PID = 0): Source= ProfileTime,
Using Kernrate Default Rate of 65536 events/hit
Starting to collect profile data

***> Press ctrl-c to finish collecting profile data
===> Finished Collecting Data, Starting to Process Results

------------Overall Summary:--------------

P0 K 0:01:23.944 (100.0%) U 0:00:00.000 ( 0.0%) I 0:00:00.000 ( 0.0%) DPC
0:00:00.202 ( 0.2%) Interrupt 0:00:00.000 ( 0.0%)
Interrupts= 47042, Interrupt Rate= 560/sec.

P1 K 0:00:00.280 ( 0.3%) U 0:00:00.078 ( 0.1%) I 0:01:23.585 (99.6%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.000 ( 0.0%)
Interrupts= 38986, Interrupt Rate= 464/sec.

P2 K 0:00:00.670 ( 0.8%) U 0:00:01.216 ( 1.4%) I 0:01:22.056 (97.8%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.000 ( 0.0%)
Interrupts= 47550, Interrupt Rate= 566/sec.

P3 K 0:00:03.010 ( 3.6%) U 0:00:11.216 (13.4%) I 0:01:09.716 (83.1%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.015 ( 0.0%)
Interrupts= 43433, Interrupt Rate= 517/sec.

P4 K 0:00:06.115 ( 7.3%) U 0:00:06.895 ( 8.2%) I 0:01:10.933 (84.5%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.015 ( 0.0%)
Interrupts= 42770, Interrupt Rate= 510/sec.

P5 K 0:00:02.823 ( 3.4%) U 0:00:02.761 ( 3.3%) I 0:01:18.359 (93.3%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.000 ( 0.0%)
Interrupts= 40582, Interrupt Rate= 483/sec.

P6 K 0:00:16.052 (19.1%) U 0:00:00.405 ( 0.5%) I 0:01:07.486 (80.4%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.015 ( 0.0%)
Interrupts= 43011, Interrupt Rate= 512/sec.

P7 K 0:00:03.915 ( 4.7%) U 0:00:01.856 ( 2.2%) I 0:01:18.172 (93.1%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.000 ( 0.0%)
Interrupts= 37700, Interrupt Rate= 449/sec.

P8 K 0:00:02.277 ( 2.7%) U 0:00:01.981 ( 2.4%) I 0:01:19.685 (94.9%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.062 ( 0.1%)
Interrupts= 36500, Interrupt Rate= 435/sec.

P9 K 0:00:02.574 ( 3.1%) U 0:00:01.903 ( 2.3%) I 0:01:19.466 (94.7%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.000 ( 0.0%)
Interrupts= 40756, Interrupt Rate= 486/sec.

P10 K 0:00:00.858 ( 1.0%) U 0:00:02.106 ( 2.5%) I 0:01:20.980 (96.5%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.000 ( 0.0%)
Interrupts= 42423, Interrupt Rate= 505/sec.

P11 K 0:00:03.322 ( 4.0%) U 0:00:04.118 ( 4.9%) I 0:01:16.502 (91.1%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.015 ( 0.0%)
Interrupts= 40154, Interrupt Rate= 478/sec.

P12 K 0:00:02.246 ( 2.7%) U 0:00:01.170 ( 1.4%) I 0:01:20.527 (95.9%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.015 ( 0.0%)
Interrupts= 41201, Interrupt Rate= 491/sec.

P13 K 0:00:04.009 ( 4.8%) U 0:00:04.383 ( 5.2%) I 0:01:15.551 (90.0%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.015 ( 0.0%)
Interrupts= 40581, Interrupt Rate= 483/sec.

P14 K 0:00:04.352 ( 5.2%) U 0:00:06.130 ( 7.3%) I 0:01:13.460 (87.5%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.000 ( 0.0%)
Interrupts= 42868, Interrupt Rate= 511/sec.

P15 K 0:00:03.416 ( 4.1%) U 0:00:06.754 ( 8.0%) I 0:01:13.772 (87.9%) DPC
0:00:00.000 ( 0.0%) Interrupt 0:00:00.000 ( 0.0%)
Interrupts= 40769, Interrupt Rate= 486/sec.

TOTAL K 0:02:19.870 (10.4%) U 0:00:52.977 ( 3.9%) I 0:19:10.257 (85.6%) DPC
0:00:00.202 ( 0.0%) Interrupt 0:00:00.156 ( 0.0%)
Total Interrupts= 666326, Total Interrupt Rate= 7938/sec.


Total Profile Time = 83944 msec

BytesStart BytesStop Byt
esDiff.
Available Physical Memory , 57469534208, 57480404992, 10870
784
Available Pagefile(s) , 125895360512, 125906567168, 11206
656
Available Virtual , 8796052905984, 8796050808832, -2097
152
Available Extended Virtual , 0, 0,
0
Committed Memory Bytes , 2878898176, 2867675136, -11223
040
Non Paged Pool Usage Bytes , 133926912, 133931008, 4
096
Paged Pool Usage Bytes , 466640896, 466653184, 12
288
Paged Pool Available Bytes , 3828211712, 3828170752, -40
960
Free System PTEs , 33555764, 33555766,
2

Total Avg. Rate
Context Switches , 1672911, 19929/sec.
System Calls , 12129477, 144495/sec.
Page Faults , 246960, 2942/sec.
I/O Read Operations , 100382, 1196/sec.
I/O Write Operations , 79892, 952/sec.
I/O Other Operations , 46798, 557/sec.
I/O Read Bytes , 193584657, 1928/ I/O
I/O Write Bytes , 192169518, 2405/ I/O
I/O Other Bytes , 2242585, 48/ I/O

-----------------------------

Results for Kernel Mode:
-----------------------------

OutputResults: KernelModuleCount = 151
Percentage in the following table is based on the Total Hits for the Kernel

ProfileTime 194062 hits, 65536 events per hit --------
Module Hits msec %Total Events/Sec
NTOSKRNL 178935 83928 92 % 139723145
HAL 12524 83928 6 % 9779487
WIN32K 1043 83928 0 % 814436
NTFS 444 83928 0 % 346701
ACPI 295 83928 0 % 230353
TCPIP 148 83928 0 % 115567
RDPWD 98 83928 0 % 76524
FLTMGR 81 83928 0 % 63249
RDPDD 79 83928 0 % 61687
NETIO 57 83928 0 % 44509
EAMONM 52 83928 0 % 40604
B57ND60A 37 83928 0 % 28891
AFD 32 83943 0 % 24983
NDIS 28 83928 0 % 21864
CNG 26 83928 0 % 20302
NPFS 24 83943 0 % 18737
EM018_64 18 83943 0 % 14052
WDF01000 14 83928 0 % 10932
TERMDD 13 83943 0 % 10149
EHDRV 10 83943 0 % 7807
INTELPPM 7 83943 0 % 5465
CLFS 7 83928 0 % 5466
ATAPORT 7 83928 0 % 5466
HPCISSS3 7 83928 0 % 5466
STORPORT 7 83928 0 % 5466
WATCHDOG 6 83943 0 % 4684
FILEINFO 5 83928 0 % 3904
CDROM 5 83928 0 % 3904
TSSECSRV 4 83928 0 % 3123
PARTMGR 4 83928 0 % 3123
USBHUB 4 83928 0 % 3123
AKSDF 4 83928 0 % 3123
TDTCP 4 83928 0 % 3123
TDX 3 83943 0 % 2342
LUAFV 2 83928 0 % 1561
PSHED 2 83928 0 % 1561
ATAPI 2 83928 0 % 1561
KSECDD 2 83928 0 % 1561
EM015_64 2 83943 0 % 1561
EM006_64 2 83943 0 % 1561
NSIPROXY 2 83943 0 % 1561
TUNNEL 2 83943 0 % 1561
G200EHD 2 83928 0 % 1561
PROCEXP152 1 83928 0 % 780
VOLMGR 1 83928 0 % 780
PCW 1 83928 0 % 780
FWPKCLNT 1 83928 0 % 780
MUP 1 83928 0 % 780
TDI 1 83943 0 % 780
PACER 1 83943 0 % 780
RDBSS 1 83943 0 % 780
USBEHCI 1 83943 0 % 780
USBPORT 1 83943 0 % 780
SRVNET 1 83928 0 % 780
SRV 1 83928 0 % 780

================================= END OF RUN ==================================
============================== NORMAL END OF RUN ==============================
d0ublezer0
28-09-2018, 09:27
Подольше понаблюдал за ядром, и проскочило:
https://image.prntscr.com/image/CbRnDH3RQb6mpiChNhZZwQ.png

Но это временно, в основном всё время system.
Посмотрел rphost пристальнее:
https://image.prntscr.com/image/PpySIcEYS12uCsqQDajDFg.png
Вот Stack
ntoskrnl.exe!KiCpuId+0xaa
ntoskrnl.exe!KeReleaseSpinLock+0x612
ntoskrnl.exe!KeWaitForMutexObject+0x1a3
ntoskrnl.exe!KeQueryActiveProcessorCountEx+0x218
ntoskrnl.exe!RtlNumberOfSetBitsUlongPtr+0x10cd
ntoskrnl.exe!KiCpuId+0x2553
core83.dll!??0IOException@core@@QAE@W4Error@01@ABV?$basic_string@_SU?$fix_char_traits@_S@stdx@@V?$al locator@_S@std@@@stdx@@PAVIExceptionObject@1@@Z+0x6aa
core83.dll!?decode_hex@core@@YA_NPAVIReader@1@PAVIFile@1@@Z+0x8a2
core83.dll!?decode_hex@core@@YA_NPAVIReader@1@PAVIFile@1@@Z+0xbac
core83.dll!?decode_hex@core@@YA_NPAVIReader@1@PAVIFile@1@@Z+0xcc4
core83.dll!?decode_hex@core@@YA_NPAVIReader@1@PAVIFile@1@@Z+0xd80
core83.dll!?get_begin_of_list@core@@YA_NPAVIReader@1@@Z+0xe
core83.dll!??0ListOutStream@core@@QAE@PAVIFile@1@@Z+0x158
core83.dll!?getCLSID@Type@core@@QBEABU_GUID@@XZ+0x8
core83.dll!??0URL@core@@QAE@ABV?$basic_string@_SU?$fix_char_traits@_S@stdx@@V?$allocator@_S@std@@@st dx@@_N@Z+0x64
core83.dll!??1Value@core@@QAE@XZ+0x2b
core83.dll!??0URL@core@@QAE@ABV?$basic_string@_SU?$fix_char_traits@_S@stdx@@V?$allocator@_S@std@@@st dx@@_N@Z+0x64
Petya V4sechkin
28-09-2018, 10:45
Посмотрел rphost пристальнее
Это 1С, вряд ли относится к проблеме.

Грузит ядро системы, функция KelsAttachedProcess. Причины неизвестны, возможно связано с функцией автоматического обслуживания Windows.
d0ublezer0
28-09-2018, 12:55
Нашел такое предположение:https://social.technet.microsoft.com/Forums/ie/en-US/28ed0ff8-5de0-48a3-8a10-4d98be368273/windows-server-2012-r2-file-server-ntoskrnlexe-high-cpu-usage?forum=winserverfiles
Посмотрел - открытых по сети файлов всего штук 7.
Закрыл их на всякий случай - ситуация не изменилась
d0ublezer0
28-09-2018, 15:37
автоматического обслуживания Windows »
Не нашел где настроить период её активности для Windows Server 2008R2

Нашел только решение с отключением (https://deploymentresearch.com/research/post/401/automatic-maintenance-in-windows-server-2012-r2-is-evil) и то, для 2012 сервера
HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Schedule\Maintenance
Add DWORD MaintenanceDisabled = 1
Petya V4sechkin
28-09-2018, 19:05
d0ublezer0, посмотрите в Планировщике заданий, запускается ли что-нибудь в тот момент, когда нагружается ядро.
d0ublezer0
28-09-2018, 19:42
d0ublezer0, посмотрите в Планировщике заданий
На эту гипотезу меня натолкнула одна зарубежная публикация про автоматическое тестирование памяти по событию.
Её я тоже проверял, отсматривая все задания, в том числе и системные, останавливая все работающие экземпляры. Не помогло.
d0ublezer0
17-10-2018, 10:48
Путем долгих мучений и попыток найти хоть какую-то причину обновил платформу 1С до последний версии - и уже неделю полёт нормальный (раньше - максимум три дня)
Leaves
23-10-2018, 08:01
Путем долгих мучений и попыток найти хоть какую-то причину обновил платформу 1С до последний версии - и уже неделю полёт нормальный (раньше - максимум три дня) »
Добрый день! Можно узнать какая версия платформы стояла и на какую переставили? И что за конфигурация? Спасибо
d0ublezer0
24-10-2018, 12:21
Конфиг стандартный БП3 последний релиз
а платформа была 8.3.11.2867 стала 8.3.13.1513

Но сегодня тормоза вернулись вновь.
Есть еще одна гипотеза связанная с обновлятором (https://helpme1c.ru/obnovlyator-1s-gruppovoe-paketnoe-obnovlenie-vsex-baz-za-odin-raz), проверю - отпишусь
Leaves
25-10-2018, 10:54
Конфиг стандартный БП3 последний релиз
а платформа была 8.3.11.2867 стала 8.3.13.1513
Но сегодня тормоза вернулись вновь.
Есть еще одна гипотеза связанная с обновлятором, проверю - отпишусь »
Спасибо!
d0ublezer0
17-12-2018, 09:47
В общем, обновлятор оказался не при чем.

В один из случаев заторможенности подключил монитор к серверу и стал убивать все процессы и останавливать службы, до каких смог дотянуться. Картина плачевная: убив всё, что позволила система, ядро продолжало быть нагруженным.

Службы, которые не смог остановить:
https://image.prntscr.com/image/06PQnE3nRQeJuSxK55lH1Q.png
https://image.prntscr.com/image/th9I8J9GQfSZmcT3ENmOXQ.png
И всё равно нагружено ядро
https://image.prntscr.com/image/XVsNs9lXTrKJVk9N_E8xCA.png

Что делать?
Систему переустанавливать?
Petya V4sechkin
17-12-2018, 10:01
d0ublezer0, можно ещё так посмотреть:
KernRate.exe -z ntoskrnl
(хотя вряд ли это прояснит ситуацию).
d0ublezer0
17-12-2018, 12:59
приложил. там хозяйствует KiCpuId
d0ublezer0
11-02-2019, 11:09
Задрали тормоза.
Переустановили систему начисто Windows Server 2008 R2 Enterprise (HP OEM ENG), накатили русский MUI, обновили до последнего состояния.
Установили только поставляемые официально драйверы HP.
Заново поставили и сконфигурировали 1С последней редакции и MS SQL.
Отключили перенаправление клиентских принтеров, оставили только сетевые, установленные на сервере.
Вроде ничего лишнего.

Полетало несколько дней, потом снова появились те же самые тормоза.
Ну что ещё сделать-то? Рыдаю.
Anton04
11-02-2019, 14:56
d0ublezer0,

Попробуйте выделить в отдельную машину сервер печати.



© OSzone.net 2001-2012