Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Windows Server 2012/2012 R2 (http://forum.oszone.net/forumdisplay.php?f=117)
-   -   [решено] system interrupts грузит процессор (http://forum.oszone.net/showthread.php?t=317444)

eldaeron 03-08-2016 07:17 2656370
system interrupts грузит процессор
 
Доброго дня всем!
Не кидайте сразу гнилыми помидорами, я видел подобную тему на форуме, однако она была в части клиентских машин, и методы выявления причин описанные там не подошли.
В общем, имеется виртуальная машина на ESXi, роль прокси сервер. используем Traffic Inspector.
Процессор машины почти постоянно загружен на 100%, поковырялись и вышли на процесс interrupts.
Грешим на дополнительный драйвер сетевой карты от TI, так как если в свойствах всех сетевых снять галку traffic inspector filter (NDIS 6.3 rev228), нагрузка процесса падает и не превышает 10%, ставим обратно и все, 20-60% только на interrupts уходит.
но, как вы понимаете таких доводов техподдержке обычно недостаточно.
в подобной теме на XP машинках выявляли проблемный драйвер средствами утилиты от Microsoft — «Kernrate View». однако аналогичной утилиты на новые системы я не нашел:(
Чем можно выявить подлеца мешающего работать?

Petya V4sechkin 03-08-2016 07:56 2656375
eldaeron, сделайте лог Kernrate во время тормоза (при высокой загрузке Interrupts).

eldaeron 03-08-2016 08:00 2656376
Спасибо за утилитку! сделаю лог как только нагрузка снова возрастет.(на данный момент сервер перезагружен и обычно день - два работает нормально)

eldaeron 29-08-2016 15:32 2663919
Цитата:
Цитата Petya V4sechkin
eldaeron, сделайте лог Kernrate во время тормоза (при высокой загрузке Interrupts). »
Извиняюсь за задержку. вот полный лог


Код:
C:\KernRate_win7\x64>KernRate.exe
 /==============================\
<        KERNRATE LOG          >
 \==============================/
Date: 2016/08/29  Time: 16:56:09
Machine Name: SURG-PROXY
Number of Processors: 4
PROCESSOR_ARCHITECTURE: AMD64
PROCESSOR_LEVEL: 6
PROCESSOR_REVISION: 2d07
Physical Memory: 12288 MB
Pagefile Total: 14143 MB
Virtual Total: 134217727 MB
PageFile1: \??\C:\pagefile.sys, 1856MB
OS Version: 6.2 Build 9200 Service-Pack: 0.0
WinDir: C:\Windows

Kernrate Executable Location: C:\KERNRATE_WIN7\X64

Kernrate User-Specified Command Line:
KernRate.exe


Kernel Profile (PID = 0): Source= ProfileTime,
Using Kernrate Default Rate of 10007 events/hit
Starting to collect profile data

***> Press ctrl-c to finish collecting profile data
===> Finished Collecting Data, Starting to Process Results

------------Overall Summary:--------------

P0    K 0:28:37.093 (85.8%)  U 0:03:00.671 ( 9.0%)  I 0:01:43.359 ( 5.2%)  DPC
0:17:35.000 (52.7%)  Interrupt 0:00:13.500 ( 0.7%)
      Interrupts= 2049305, Interrupt Rate= 1024/sec.

P1    K 0:30:17.312 (90.8%)  U 0:01:29.859 ( 4.5%)  I 0:01:33.953 ( 4.7%)  DPC
0:24:23.390 (73.1%)  Interrupt 0:00:25.515 ( 1.3%)
      Interrupts= 1687931, Interrupt Rate= 843/sec.

P2    K 0:25:02.453 (75.1%)  U 0:06:32.296 (19.6%)  I 0:01:46.390 ( 5.3%)  DPC
0:10:43.703 (32.2%)  Interrupt 0:00:45.921 ( 2.3%)
      Interrupts= 2009839, Interrupt Rate= 1004/sec.

P3    K 0:25:35.718 (76.7%)  U 0:05:38.843 (16.9%)  I 0:02:06.578 ( 6.3%)  DPC
0:08:30.546 (25.5%)  Interrupt 0:00:41.546 ( 2.1%)
      Interrupts= 1742134, Interrupt Rate= 871/sec.

TOTAL  K 1:49:32.578 (82.1%)  U 0:16:41.671 (12.5%)  I 0:07:10.281 ( 5.4%)  DPC
1:01:12.640 (45.9%)  Interrupt 0:02:06.484 ( 1.6%)
      Total Interrupts= 7489209, Total Interrupt Rate= 3742/sec.


Total Profile Time = 283153 msec

                                      BytesStart          BytesStop        Byt
esDiff.
    Available Physical Memory  ,      6427447296,      6452719616,        25272
320
    Available Pagefile(s)      ,      8036343808,      8072536064,        36192
256
    Available Virtual          , 140737446875136, 140737445826560,        -1048
576
    Available Extended Virtual  ,              0,              0,
  0
    Committed Memory Bytes      ,      2500829184,      2463084544,      -37744
640
    Non Paged Pool Usage Bytes  ,        14147584,        15679488,        1531
904
    Paged Pool Usage Bytes      ,      169394176,      169836544,          442
368
    Paged Pool Available Bytes  ,      1793667072,      1831411712,        37744
640
    Free System PTEs            ,        16623776,        16624031,
255

                                  Total      Avg. Rate
    Context Switches    ,      3371840,        1685/sec.
    System Calls        ,    54850910,        27410/sec.
    Page Faults          ,    14920284,        7456/sec.
    I/O Read Operations  ,    17348481,        8669/sec.
    I/O Write Operations ,      181011,        90/sec.
    I/O Other Operations ,      4223192,        2110/sec.
    I/O Read Bytes      ,  17887715386,        1031/ I/O
    I/O Write Bytes      ,    210583427,        1163/ I/O
    I/O Other Bytes      ,  2918017615,        691/ I/O

-----------------------------

Results for Kernel Mode:
-----------------------------

OutputResults: KernelModuleCount = 145
Percentage in the following table is based on the Total Hits for the Kernel

ProfileTime  3664301 hits, 10007 events per hit --------
 Module                                Hits  msec  %Total  Events/Sec
NTOSKRNL                            1795277    2001117    48 %    8977654
KLWFP                                897414    2001117    24 %    4487704
TICAP                                379889    2001117    10 %    1899713
HAL                                  250739    2001117    6 %    1253872
E1I63X64                            140244    2001117    3 %      701319
TCPIP                                48597    2001117    1 %      243019
NETIO                                38803    2001117    1 %      194042
IPNAT                                30825    2001086    0 %      154149
NDIS                                  25032    2001117    0 %      125177
FLTMGR                                13619    2001117    0 %      68104
AFD                                  10442    2001117    0 %      52217
NTFS                                  7384    2001117    0 %      36925
FWPKCLNT                              3621    2001117    0 %      18107
KLIM6                                  3014    2001117    0 %      15072
WIN32K                                2856    2001117    0 %      14282
KLIF                                  2540    2001117    0 %      12701
TDX                                    2388    2001117    0 %      11941
KLFLT                                  2350    2001117    0 %      11751
IPFLTDRV                              2313    2001070    0 %      11566
VNETFLT                                1303    2001117    0 %        6515
LSI_SAS                                965    2001117    0 %        4825
LUAFV                                  790    2001117    0 %        3950
PACER                                  755    2001117    0 %        3775
VSEPFLT                                717    2001117    0 %        3585
ATAPORT                                516    2001117    0 %        2580
FDC                                    414    2001117    0 %        2070
NSIPROXY                                344    2001117    0 %        1720
NPFS                                    136    2001117    0 %        680
STORPORT                                123    2001117    0 %        615
VMCI                                    113    2001117    0 %        565
KL1                                      84    2001117    0 %        420
DXGKRNL                                  77    2001117    0 %        385
CLASSPNP                                74    2001117    0 %        370
TDI                                      55    2001117    0 %        275
CDD                                      51    2001117    0 %        255
TM                                      45    2001117    0 %        225
WDF01000                                43    2001117    0 %        215
PARTMGR                                  38    2001117    0 %        190
DWVKBD64                                33    2001117    0 %        165
DXGMMS1                                  29    2001117    0 %        145
CDROM                                    20    2001070    0 %        100
RASSSTP                                  17    2001117    0 %          85
CI                                      17    2001117    0 %          85
VOLMGR                                  16    2001117    0 %          80
CONDRV                                  15    2001101    0 %          75
CNG                                      15    2001117    0 %          75
VOLSNAP                                  15    2001117    0 %          75
PCW                                      12    2001117    0 %          60
NETBT                                    11    2001117    0 %          55
ATAPI                                    9    2001117    0 %          45
SRVNET                                    7    2001101    0 %          35
WFPLWFS                                  7    2001117    0 %          35
MRXSMB                                    7    2001117    0 %          35
VMMEMCTL                                  7    2001101    0 %          35
RASPPTP                                  6    2001117    0 %          30
AHCACHE                                  6    2001117    0 %          30
WANARP                                    5    2001117    0 %          25
WATCHDOG                                  5    2001117    0 %          25
RDBSS                                    5    2001117    0 %          25
RDPUDD                                    4    2001070    0 %          20
WPPRECORDER                              4    2001117    0 %          20
VM3DMP                                    4    2001117    0 %          20
FLPYDISK                                  4    2001070    0 %          20
TUNNEL                                    3    2001086    0 %          15
CLFS                                      3    2001117    0 %          15
MSRPC                                    3    2001117    0 %          15
VSOCK                                    3    2001117    0 %          15
BASICRENDER                              3    2001117    0 %          15
NDISWAN                                  2    2001117    0 %          10
ACPI                                      2    2001117    0 %          10
MOUNTMGR                                  2    2001117    0 %          10
DISK                                      2    2001117    0 %          10
SRV                                      1    2001086    0 %          5
WMILIB                                    1    2001117    0 %          5
INTELIDE                                  1    2001117    0 %          5
KSECDD                                    1    2001117    0 %          5
KSECPKG                                  1    2001117    0 %          5
VMHGFS                                    1    2001117    0 %          5
MOUCLASS                                  1    2001117    0 %          5
RASPPPOE                                  1    2001117    0 %          5

================================= END OF RUN ==================================
============================== NORMAL END OF RUN ==============================

Petya V4sechkin 29-08-2016 18:15 2663969
eldaeron, как видите, после ядра системы под подозрением:
  • klwfp.sys - относится к Касперскому;
  • ticap.sys - относится к Traffic Inspector.

eldaeron 30-08-2016 06:40 2664070
Да, я заметил... а ядро 48% это нормально?

Petya V4sechkin 30-08-2016 08:00 2664082
Цитата:
Цитата eldaeron
а ядро 48% это нормально?
Нет.
Но сначала нужно исключить программные причины. Если дело не в них, загрузка ядра означает аппаратные проблемы.

eldaeron 30-08-2016 09:04 2664096
Снесли касперского, теперь смотрим.
трафика снести не можем, это прямое назначение сервера...

eldaeron 06-09-2016 12:05 2666121
стало работать легче, но все равно периодически под 80%
8ми часовой лог.

Код:
  /==============================\
<        KERNRATE LOG          >
 \==============================/
Date: 2016/09/06  Time: 17:48:54
Machine Name: SURG-PROXY
Number of Processors: 4
PROCESSOR_ARCHITECTURE: AMD64
PROCESSOR_LEVEL: 6
PROCESSOR_REVISION: 2d07
Physical Memory: 12288 MB
Pagefile Total: 14143 MB
Virtual Total: 134217727 MB
PageFile1: \??\C:\pagefile.sys, 1856MB
OS Version: 6.2 Build 9200 Service-Pack: 0.0
WinDir: C:\Windows

Kernrate Executable Location: C:\KERNRATE_WIN7\X64

Kernrate User-Specified Command Line:
KernRate.exe


Kernel Profile (PID = 0): Source= ProfileTime,
Using Kernrate Default Rate of 10007 events/hit

------------Overall Summary:--------------

P0    K 2:38:21.593 (18.0%)  U 2:25:07.296 (16.5%)  I 9:34:58.875 (65.5%)  DPC 1:55:28.203 (13.1%)  Interrupt 0:07:00.578 ( 0.8%)
      Interrupts= 89036111, Interrupt Rate= 1689/sec.

P1    K 2:50:46.296 (19.4%)  U 1:52:11.156 (12.8%)  I 9:55:30.312 (67.8%)  DPC 1:50:12.171 (12.5%)  Interrupt 0:15:57.312 ( 1.8%)
      Interrupts= 77662691, Interrupt Rate= 1473/sec.

P2    K 2:10:22.671 (14.8%)  U 2:43:08.828 (18.6%)  I 9:44:56.265 (66.6%)  DPC 1:07:02.671 ( 7.6%)  Interrupt 0:07:26.796 ( 0.8%)
      Interrupts= 69838645, Interrupt Rate= 1325/sec.

P3    K 2:10:19.984 (14.8%)  U 1:40:59.875 (11.5%)  I 10:47:07.906 (73.7%)  DPC 1:09:56.000 ( 8.0%)  Interrupt 0:08:02.703 ( 0.9%)
      Interrupts= 66595941, Interrupt Rate= 1263/sec.

TOTAL  K 9:49:50.546 (16.8%)  U 8:41:27.156 (14.8%)  I 16:02:33.359 (68.4%)  DPC 6:02:39.046 (10.3%)  Interrupt 0:38:27.390 ( 1.1%)
      Total Interrupts= 303133388, Total Interrupt Rate= 5751/sec.


Total Profile Time = 309164 msec

                                      BytesStart          BytesStop        BytesDiff.
    Available Physical Memory  ,    11074080768,    11093798912,        19718144
    Available Pagefile(s)      ,    13014110208,    13032280064,        18169856
    Available Virtual          , 140737446875136, 140737445826560,        -1048576
    Available Extended Virtual  ,              0,              0,              0
    Committed Memory Bytes      ,      1817546752,      1798307840,      -19238912
    Non Paged Pool Usage Bytes  ,      107397120,      109555712,        2158592
    Paged Pool Usage Bytes      ,      131719168,      127913984,        -3805184
    Paged Pool Available Bytes  ,      2476949504,      2496188416,        19238912
    Free System PTEs            ,        16624630,        16625136,            506

                                  Total      Avg. Rate
    Context Switches    ,    82566226,        1566/sec.
    System Calls        ,  -2084240813,        -39543/sec.
    Page Faults          ,    172248937,        3268/sec.
    I/O Read Operations  ,    380912568,        7227/sec.
    I/O Write Operations ,      7070297,        134/sec.
    I/O Other Operations ,    143005376,        2713/sec.
    I/O Read Bytes      , 386039669954,        1013/ I/O
    I/O Write Bytes      ,  5345827739,        756/ I/O
    I/O Other Bytes      ,  93208271792,        652/ I/O

-----------------------------

Results for Kernel Mode:
-----------------------------

OutputResults: KernelModuleCount = 139
Percentage in the following table is based on the Total Hits for the Kernel

ProfileTime  147016494 hits, 10007 events per hit --------
 Module                                Hits  msec  %Total  Events/Sec
HAL                              122932178  52707361    83 %    23339857
NTOSKRNL                          11838207  52707361    8 %    2247597
TICAP                              5004948  52707361    3 %      950237
E1I63X64                            3279922  52707361    2 %      622724
TCPIP                              1091181  52707361    0 %      207171
NETIO                                704207  52707361    0 %      133700
NDIS                                587483  52707361    0 %      111539
IPNAT                                512354  52707521    0 %      97275
AFD                                  301764  52707361    0 %      57292
FLTMGR                              269270  52707361    0 %      51123
NTFS                                134681  52707361    0 %      25570
FWPKCLNT                              60829  52707361    0 %      11548
TDX                                  59822  52707361    0 %      11357
IPFLTDRV                              56635  52707565    0 %      10752
WIN32K                                42748  52707361    0 %        8116
VNETFLT                              23708  52707361    0 %        4501
VMMEMCTL                              17114  52707361    0 %        3249
PACER                                16545  52707361    0 %        3141
ATAPORT                              15714  52707361    0 %        2983
NSIPROXY                              11419  52707361    0 %        2168
LSI_SAS                              10931  52707361    0 %        2075
VSEPFLT                                9564  52707361    0 %        1815
LUAFV                                  4958  52707361    0 %        941
NPFS                                  4738  52707361    0 %        899
FDC                                    3822  52707361    0 %        725
DWVKBD64                              2509  52707361    0 %        476
STORPORT                              2348  52707361    0 %        445
RSPNDR                                2254  52707361    0 %        427
VMCI                                  1632  52707361    0 %        309
WDF01000                              1291  52707361    0 %        245
CLASSPNP                              1183  52707361    0 %        224
TDI                                    1018  52707361    0 %        193
CONDRV                                  996  52707361    0 %        189
PARTMGR                                863  52707361    0 %        163
CNG                                    724  52707361    0 %        137
TM                                      600  52707361    0 %        113
NETBT                                  597  52707361    0 %        113
PCW                                    541  52707361    0 %        102
ATAPI                                  512  52707361    0 %          97
CDROM                                  503  52707361    0 %          95
VOLMGR                                  398  52707361    0 %          75
VOLSNAP                                359  52707361    0 %          68
RASSSTP                                353  52707361    0 %          67
SRVNET                                  287  52707361    0 %          54
WANARP                                  287  52707361    0 %          54
WFPLWFS                                243  52707361    0 %          46
MRXSMB                                  242  52707361    0 %          45
TUNNEL                                  240  52707457    0 %          45
VSOCK                                  168  52707361    0 %          31
AHCACHE                                140  52707361    0 %          26
NDISWAN                                128  52707361    0 %          24
WMILIB                                  123  52707361    0 %          23
RASL2TP                                104  52707361    0 %          19
RASPPTP                                  92  52707361    0 %          17
VM3DMP                                  82  52707361    0 %          15
DISK                                    74  52707361    0 %          14
AGILEVPN                                73  52707361    0 %          13
RASPPPOE                                72  52707361    0 %          13
RDBSS                                    67  52707361    0 %          12
DXGKRNL                                  65  52707361    0 %          12
CI                                      65  52707361    0 %          12
MSRPC                                    64  52707361    0 %          12
FLPYDISK                                60  52707361    0 %          11
I8042PRT                                48  52707361    0 %          9
VMMOUSE                                  43  52707361    0 %          8
KSECDD                                  40  52707361    0 %          7
INTELIDE                                33  52707361    0 %          6
HTTP                                    32  52707361    0 %          6
MOUNTMGR                                32  52707361    0 %          6
SRV                                      29  52707440    0 %          5
DXGMMS1                                  22  52707361    0 %          4
KSECPKG                                  18  52707361    0 %          3
FS_REC                                  16  52707361    0 %          3
NPSVCTRIG                                15  52707361    0 %          2
MRXSMB20                                12  52707361    0 %          2
CLFS                                    10  52707361    0 %          1
WPPRECORDER                              9  52707361    0 %          1
VMHGFS                                    7  52707361    0 %          1
ACPI                                      7  52707361    0 %          1
CDD                                      5  52707661    0 %          0
DFSC                                      5  52707361    0 %          0
BASICRENDER                              3  52707361    0 %          0
PEAUTH                                    2  52707361    0 %          0
WATCHDOG                                  2  52707361    0 %          0
BOWSER                                    2  52707361    0 %          0
LLTDIO                                    1  52707361    0 %          0
MUP                                      1  52707361    0 %          0
MOUCLASS                                  1  52707361    0 %          0

================================= END OF RUN ==================================


Время: 08:15.

Время: 08:15.
© OSzone.net 2001-