Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Windows Server 2008/2008 R2 (http://forum.oszone.net/forumdisplay.php?f=97)
-   -   Что-то нагружает одно ядро на 100% (http://forum.oszone.net/showthread.php?t=336850)

d0ublezer0 26-09-2018 08:59 2832931

Что-то нагружает одно ядро на 100%
 
Привет.
Есть сервер терминалов Windows Server 2008R2


Нагрузка:
1С 8 БП, 2 пользователя файловой базы и 4 пользователя SQL базы и 1С 7 файловая, один пользователь
Базы лежат на SSD

в какой-то момент времени внезапно нагружается одно ядро процессора на 100%


при том в списке процессов ничего ресурсоемкого нет, с виду вообще всё бездействует. Забито только одно ядро.
Если навести курсор на это ядро, отображается только процесс "system"
И всё тормозит, естественно.
После перезагрузки все приходит в норму:


Никак не могу вычислить, что вызывает такую реактивную нагрузку.
Какие варианты есть, как проверить?

paranoya 26-09-2018 09:33 2832933

В момент появления проблемы запустить process explorer и смотреть, что нагружает ядро.

d0ublezer0 26-09-2018 10:10 2832934

Цитата:

Цитата paranoya
В момент появления проблемы запустить process explorer и смотреть, что нагружает ядро. »

Как раз это и есть на скриншоте и это же описано в вопросе: не понятно, что грузит.
У каждого процесса в списке - минимальная нагрузка, 2-3% всего.
Посмотрите на картинку - общая загруженность процессора 8.73%, она распределена по всем процессам.

При том одно ядро загружено на 100%
Парадокс.

Petya V4sechkin 26-09-2018 10:50 2832940

Цитата:

Цитата d0ublezer0
Если навести курсор на это ядро, отображается только процесс "system"

Запустите Process Explorer от имени Администратора -> во время тормоза на процессе System правой кнопкой мыши -> Properties -> вкладка Threads -> сортировка по столбцу CPU -> покажите скриншот. Там же выделите поток, грузящий процессор -> нажмите кнопку Stack -> покажите скриншот.

Дополнительно сделайте лог Kernrate во время тормоза.

d0ublezer0 28-09-2018 09:00 2833240

Процесс System


При нажатии на кнопку Stack для верхнего процесса:

Код:

E:\>KernRate.exe
 /==============================\
<        KERNRATE LOG          >
 \==============================/
Date: 2018/09/28  Time:  8:57:53
Machine Name: TM-SERVER
Number of Processors: 16
PROCESSOR_ARCHITECTURE: AMD64
PROCESSOR_LEVEL: 6
PROCESSOR_REVISION: 2d06
Physical Memory: 65502 MB
Pagefile Total: 131000 MB
Virtual Total: 8388607 MB
PageFile1: \??\C:\pagefile.sys, 65501MB
OS Version: 6.1 Build 7601 Service-Pack: 1.0
WinDir: C:\Windows

Kernrate Executable Location: E:

Kernrate User-Specified Command Line:
KernRate.exe


Kernel Profile (PID = 0): Source= ProfileTime,
Using Kernrate Default Rate of 65536 events/hit
Starting to collect profile data

***> Press ctrl-c to finish collecting profile data
===> Finished Collecting Data, Starting to Process Results

------------Overall Summary:--------------

P0    K 0:01:23.944 (100.0%)  U 0:00:00.000 ( 0.0%)  I 0:00:00.000 ( 0.0%)  DPC
 0:00:00.202 ( 0.2%)  Interrupt 0:00:00.000 ( 0.0%)
      Interrupts= 47042, Interrupt Rate= 560/sec.

P1    K 0:00:00.280 ( 0.3%)  U 0:00:00.078 ( 0.1%)  I 0:01:23.585 (99.6%)  DPC
0:00:00.000 ( 0.0%)  Interrupt 0:00:00.000 ( 0.0%)
      Interrupts= 38986, Interrupt Rate= 464/sec.

P2    K 0:00:00.670 ( 0.8%)  U 0:00:01.216 ( 1.4%)  I 0:01:22.056 (97.8%)  DPC
0:00:00.000 ( 0.0%)  Interrupt 0:00:00.000 ( 0.0%)
      Interrupts= 47550, Interrupt Rate= 566/sec.

P3    K 0:00:03.010 ( 3.6%)  U 0:00:11.216 (13.4%)  I 0:01:09.716 (83.1%)  DPC
0:00:00.000 ( 0.0%)  Interrupt 0:00:00.015 ( 0.0%)
      Interrupts= 43433, Interrupt Rate= 517/sec.

P4    K 0:00:06.115 ( 7.3%)  U 0:00:06.895 ( 8.2%)  I 0:01:10.933 (84.5%)  DPC
0:00:00.000 ( 0.0%)  Interrupt 0:00:00.015 ( 0.0%)
      Interrupts= 42770, Interrupt Rate= 510/sec.

P5    K 0:00:02.823 ( 3.4%)  U 0:00:02.761 ( 3.3%)  I 0:01:18.359 (93.3%)  DPC
0:00:00.000 ( 0.0%)  Interrupt 0:00:00.000 ( 0.0%)
      Interrupts= 40582, Interrupt Rate= 483/sec.

P6    K 0:00:16.052 (19.1%)  U 0:00:00.405 ( 0.5%)  I 0:01:07.486 (80.4%)  DPC
0:00:00.000 ( 0.0%)  Interrupt 0:00:00.015 ( 0.0%)
      Interrupts= 43011, Interrupt Rate= 512/sec.

P7    K 0:00:03.915 ( 4.7%)  U 0:00:01.856 ( 2.2%)  I 0:01:18.172 (93.1%)  DPC
0:00:00.000 ( 0.0%)  Interrupt 0:00:00.000 ( 0.0%)
      Interrupts= 37700, Interrupt Rate= 449/sec.

P8    K 0:00:02.277 ( 2.7%)  U 0:00:01.981 ( 2.4%)  I 0:01:19.685 (94.9%)  DPC
0:00:00.000 ( 0.0%)  Interrupt 0:00:00.062 ( 0.1%)
      Interrupts= 36500, Interrupt Rate= 435/sec.

P9    K 0:00:02.574 ( 3.1%)  U 0:00:01.903 ( 2.3%)  I 0:01:19.466 (94.7%)  DPC
0:00:00.000 ( 0.0%)  Interrupt 0:00:00.000 ( 0.0%)
      Interrupts= 40756, Interrupt Rate= 486/sec.

P10    K 0:00:00.858 ( 1.0%)  U 0:00:02.106 ( 2.5%)  I 0:01:20.980 (96.5%)  DPC
 0:00:00.000 ( 0.0%)  Interrupt 0:00:00.000 ( 0.0%)
      Interrupts= 42423, Interrupt Rate= 505/sec.

P11    K 0:00:03.322 ( 4.0%)  U 0:00:04.118 ( 4.9%)  I 0:01:16.502 (91.1%)  DPC
 0:00:00.000 ( 0.0%)  Interrupt 0:00:00.015 ( 0.0%)
      Interrupts= 40154, Interrupt Rate= 478/sec.

P12    K 0:00:02.246 ( 2.7%)  U 0:00:01.170 ( 1.4%)  I 0:01:20.527 (95.9%)  DPC
 0:00:00.000 ( 0.0%)  Interrupt 0:00:00.015 ( 0.0%)
      Interrupts= 41201, Interrupt Rate= 491/sec.

P13    K 0:00:04.009 ( 4.8%)  U 0:00:04.383 ( 5.2%)  I 0:01:15.551 (90.0%)  DPC
 0:00:00.000 ( 0.0%)  Interrupt 0:00:00.015 ( 0.0%)
      Interrupts= 40581, Interrupt Rate= 483/sec.

P14    K 0:00:04.352 ( 5.2%)  U 0:00:06.130 ( 7.3%)  I 0:01:13.460 (87.5%)  DPC
 0:00:00.000 ( 0.0%)  Interrupt 0:00:00.000 ( 0.0%)
      Interrupts= 42868, Interrupt Rate= 511/sec.

P15    K 0:00:03.416 ( 4.1%)  U 0:00:06.754 ( 8.0%)  I 0:01:13.772 (87.9%)  DPC
 0:00:00.000 ( 0.0%)  Interrupt 0:00:00.000 ( 0.0%)
      Interrupts= 40769, Interrupt Rate= 486/sec.

TOTAL  K 0:02:19.870 (10.4%)  U 0:00:52.977 ( 3.9%)  I 0:19:10.257 (85.6%)  DPC
0:00:00.202 ( 0.0%)  Interrupt 0:00:00.156 ( 0.0%)
      Total Interrupts= 666326, Total Interrupt Rate= 7938/sec.


Total Profile Time = 83944 msec

                                      BytesStart          BytesStop        Byt
esDiff.
    Available Physical Memory  ,    57469534208,    57480404992,        10870
784
    Available Pagefile(s)      ,    125895360512,    125906567168,        11206
656
    Available Virtual          ,  8796052905984,  8796050808832,        -2097
152
    Available Extended Virtual  ,              0,              0,
  0
    Committed Memory Bytes      ,      2878898176,      2867675136,      -11223
040
    Non Paged Pool Usage Bytes  ,      133926912,      133931008,            4
096
    Paged Pool Usage Bytes      ,      466640896,      466653184,          12
288
    Paged Pool Available Bytes  ,      3828211712,      3828170752,          -40
960
    Free System PTEs            ,        33555764,        33555766,
  2

                                  Total      Avg. Rate
    Context Switches    ,      1672911,        19929/sec.
    System Calls        ,    12129477,        144495/sec.
    Page Faults          ,      246960,        2942/sec.
    I/O Read Operations  ,      100382,        1196/sec.
    I/O Write Operations ,        79892,        952/sec.
    I/O Other Operations ,        46798,        557/sec.
    I/O Read Bytes      ,    193584657,        1928/ I/O
    I/O Write Bytes      ,    192169518,        2405/ I/O
    I/O Other Bytes      ,      2242585,        48/ I/O

-----------------------------

Results for Kernel Mode:
-----------------------------

OutputResults: KernelModuleCount = 151
Percentage in the following table is based on the Total Hits for the Kernel

ProfileTime  194062 hits, 65536 events per hit --------
 Module                                Hits  msec  %Total  Events/Sec
NTOSKRNL                            178935      83928    92 %  139723145
HAL                                  12524      83928    6 %    9779487
WIN32K                                1043      83928    0 %      814436
NTFS                                    444      83928    0 %      346701
ACPI                                    295      83928    0 %      230353
TCPIP                                  148      83928    0 %      115567
RDPWD                                    98      83928    0 %      76524
FLTMGR                                  81      83928    0 %      63249
RDPDD                                    79      83928    0 %      61687
NETIO                                    57      83928    0 %      44509
EAMONM                                  52      83928    0 %      40604
B57ND60A                                37      83928    0 %      28891
AFD                                      32      83943    0 %      24983
NDIS                                    28      83928    0 %      21864
CNG                                      26      83928    0 %      20302
NPFS                                    24      83943    0 %      18737
EM018_64                                18      83943    0 %      14052
WDF01000                                14      83928    0 %      10932
TERMDD                                  13      83943    0 %      10149
EHDRV                                    10      83943    0 %        7807
INTELPPM                                  7      83943    0 %        5465
CLFS                                      7      83928    0 %        5466
ATAPORT                                  7      83928    0 %        5466
HPCISSS3                                  7      83928    0 %        5466
STORPORT                                  7      83928    0 %        5466
WATCHDOG                                  6      83943    0 %        4684
FILEINFO                                  5      83928    0 %        3904
CDROM                                    5      83928    0 %        3904
TSSECSRV                                  4      83928    0 %        3123
PARTMGR                                  4      83928    0 %        3123
USBHUB                                    4      83928    0 %        3123
AKSDF                                    4      83928    0 %        3123
TDTCP                                    4      83928    0 %        3123
TDX                                      3      83943    0 %        2342
LUAFV                                    2      83928    0 %        1561
PSHED                                    2      83928    0 %        1561
ATAPI                                    2      83928    0 %        1561
KSECDD                                    2      83928    0 %        1561
EM015_64                                  2      83943    0 %        1561
EM006_64                                  2      83943    0 %        1561
NSIPROXY                                  2      83943    0 %        1561
TUNNEL                                    2      83943    0 %        1561
G200EHD                                  2      83928    0 %        1561
PROCEXP152                                1      83928    0 %        780
VOLMGR                                    1      83928    0 %        780
PCW                                      1      83928    0 %        780
FWPKCLNT                                  1      83928    0 %        780
MUP                                      1      83928    0 %        780
TDI                                      1      83943    0 %        780
PACER                                    1      83943    0 %        780
RDBSS                                    1      83943    0 %        780
USBEHCI                                  1      83943    0 %        780
USBPORT                                  1      83943    0 %        780
SRVNET                                    1      83928    0 %        780
SRV                                      1      83928    0 %        780

================================= END OF RUN ==================================
============================== NORMAL END OF RUN ==============================


d0ublezer0 28-09-2018 09:27 2833244

Подольше понаблюдал за ядром, и проскочило:


Но это временно, в основном всё время system.
Посмотрел rphost пристальнее:

Вот Stack
Код:

ntoskrnl.exe!KiCpuId+0xaa
ntoskrnl.exe!KeReleaseSpinLock+0x612
ntoskrnl.exe!KeWaitForMutexObject+0x1a3
ntoskrnl.exe!KeQueryActiveProcessorCountEx+0x218
ntoskrnl.exe!RtlNumberOfSetBitsUlongPtr+0x10cd
ntoskrnl.exe!KiCpuId+0x2553
core83.dll!??0IOException@core@@QAE@W4Error@01@ABV?$basic_string@_SU?$fix_char_traits@_S@stdx@@V?$allocator@_S@std@@@stdx@@PAVIExceptionObject@1@@Z+0x6aa
core83.dll!?decode_hex@core@@YA_NPAVIReader@1@PAVIFile@1@@Z+0x8a2
core83.dll!?decode_hex@core@@YA_NPAVIReader@1@PAVIFile@1@@Z+0xbac
core83.dll!?decode_hex@core@@YA_NPAVIReader@1@PAVIFile@1@@Z+0xcc4
core83.dll!?decode_hex@core@@YA_NPAVIReader@1@PAVIFile@1@@Z+0xd80
core83.dll!?get_begin_of_list@core@@YA_NPAVIReader@1@@Z+0xe
core83.dll!??0ListOutStream@core@@QAE@PAVIFile@1@@Z+0x158
core83.dll!?getCLSID@Type@core@@QBEABU_GUID@@XZ+0x8
core83.dll!??0URL@core@@QAE@ABV?$basic_string@_SU?$fix_char_traits@_S@stdx@@V?$allocator@_S@std@@@stdx@@_N@Z+0x64
core83.dll!??1Value@core@@QAE@XZ+0x2b
core83.dll!??0URL@core@@QAE@ABV?$basic_string@_SU?$fix_char_traits@_S@stdx@@V?$allocator@_S@std@@@stdx@@_N@Z+0x64


Petya V4sechkin 28-09-2018 10:45 2833257

Цитата:

Цитата d0ublezer0
Посмотрел rphost пристальнее

Это 1С, вряд ли относится к проблеме.

Грузит ядро системы, функция KelsAttachedProcess. Причины неизвестны, возможно связано с функцией автоматического обслуживания Windows.

d0ublezer0 28-09-2018 12:55 2833277

Нашел такое предположение:https://social.technet.microsoft.com...winserverfiles
Посмотрел - открытых по сети файлов всего штук 7.
Закрыл их на всякий случай - ситуация не изменилась

d0ublezer0 28-09-2018 15:37 2833298

Цитата:

Цитата Petya V4sechkin
автоматического обслуживания Windows »

Не нашел где настроить период её активности для Windows Server 2008R2

Нашел только решение с отключением и то, для 2012 сервера
Код:

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Schedule\Maintenance
Add DWORD MaintenanceDisabled = 1


Petya V4sechkin 28-09-2018 19:05 2833342

d0ublezer0, посмотрите в Планировщике заданий, запускается ли что-нибудь в тот момент, когда нагружается ядро.

d0ublezer0 28-09-2018 19:42 2833351

Цитата:

Цитата Petya V4sechkin (Сообщение 2833342)
d0ublezer0, посмотрите в Планировщике заданий

На эту гипотезу меня натолкнула одна зарубежная публикация про автоматическое тестирование памяти по событию.
Её я тоже проверял, отсматривая все задания, в том числе и системные, останавливая все работающие экземпляры. Не помогло.

d0ublezer0 17-10-2018 10:48 2836245

Путем долгих мучений и попыток найти хоть какую-то причину обновил платформу 1С до последний версии - и уже неделю полёт нормальный (раньше - максимум три дня)

Leaves 23-10-2018 08:01 2837134

Цитата:

Цитата d0ublezer0
Путем долгих мучений и попыток найти хоть какую-то причину обновил платформу 1С до последний версии - и уже неделю полёт нормальный (раньше - максимум три дня) »

Добрый день! Можно узнать какая версия платформы стояла и на какую переставили? И что за конфигурация? Спасибо

d0ublezer0 24-10-2018 12:21 2837343

Конфиг стандартный БП3 последний релиз
а платформа была 8.3.11.2867 стала 8.3.13.1513

Но сегодня тормоза вернулись вновь.
Есть еще одна гипотеза связанная с обновлятором, проверю - отпишусь

Leaves 25-10-2018 10:54 2837508

Цитата:

Цитата d0ublezer0
Конфиг стандартный БП3 последний релиз
а платформа была 8.3.11.2867 стала 8.3.13.1513
Но сегодня тормоза вернулись вновь.
Есть еще одна гипотеза связанная с обновлятором, проверю - отпишусь »

Спасибо!

d0ublezer0 17-12-2018 09:47 2846510

В общем, обновлятор оказался не при чем.

В один из случаев заторможенности подключил монитор к серверу и стал убивать все процессы и останавливать службы, до каких смог дотянуться. Картина плачевная: убив всё, что позволила система, ядро продолжало быть нагруженным.

Службы, которые не смог остановить:


И всё равно нагружено ядро


Что делать?
Систему переустанавливать?

Petya V4sechkin 17-12-2018 10:01 2846511

d0ublezer0, можно ещё так посмотреть:
Код:

KernRate.exe -z ntoskrnl
(хотя вряд ли это прояснит ситуацию).

d0ublezer0 17-12-2018 12:59 2846540

Вложений: 1
приложил. там хозяйствует KiCpuId

d0ublezer0 11-02-2019 11:09 2857292

Задрали тормоза.
Переустановили систему начисто Windows Server 2008 R2 Enterprise (HP OEM ENG), накатили русский MUI, обновили до последнего состояния.
Установили только поставляемые официально драйверы HP.
Заново поставили и сконфигурировали 1С последней редакции и MS SQL.
Отключили перенаправление клиентских принтеров, оставили только сетевые, установленные на сервере.
Вроде ничего лишнего.

Полетало несколько дней, потом снова появились те же самые тормоза.
Ну что ещё сделать-то? Рыдаю.

Anton04 11-02-2019 14:56 2857315

d0ublezer0,

Попробуйте выделить в отдельную машину сервер печати.

d0ublezer0 18-02-2019 13:04 2858572

А вот и возможные кандидаты на источник проблемы нашлись
https://support.hpe.com/hpsc/doc/pub...r_na-c05324737
и
https://support.hpe.com/hpsc/doc/pub...r_na-c00568181

d0ublezer0 25-02-2019 10:12 2859789

Прошла неделя после обновления прошивки iLO4 - полёт нормальный

d0ublezer0 01-03-2019 15:06 2860716

А вот сегодня снова 100% на одном ядре. Рыдаю.
Что еще сделать? Какой тест?

vi_ssh 31-08-2019 22:26 2886186

Цитата:

Цитата Petya V4sechkin
0ublezer0, посмотрите в Планировщике заданий, запускается ли что-нибудь в тот момент, когда нагружается ядро. »

Уважаемый Petya V4sechkin, огромное вам спасибо за простую и легко выполнимую процеду. За месяц мучений перепробовал все что есть в сети. Да, процесс системный, но найти его кернелвьюэром, латенсимоном и т.д. и всем остальным было сложновато. Благодаря вашему совету, отловил мерзавца. Сделал два скрина в планировщике заданий (запустил визуализацию всех запущенных процессов) когда ненагруженных 4 ядра нагружены на 10% максимум. Второй - когда одно ядро запустилось неизвестным системным процессом на 100%. Затем вычеркнул повторяющиеся процесы на обоих скринах. Удивительно. Грузилом оказался системный процесс RAML c запускающим exe-шником sedlauncher.exe В свойствах его можно легко отключить не прибегая к садистским изменениям exe в ex За месяц уже выработался рефлекс ожидания. Ну нет его...)))

vi_ssh 01-09-2019 01:56 2886201

Забыл еще поделиться. Энту штуковину так просто не отключишь. После перезагрузки она вновь переходит в состояние включена. Она ж системная )). Надо переставить триггер в положение однократно (про дату запуска) и тогда точно будет отключена, т.к. запуск будет в прошлом. Тут кажется по ветке читал что ядро по новой начинало грузиться через неделю у форумчанина. Не исключено, что это был аналогичный случай.

vi_ssh 05-01-2020 20:14 2903658

Вот ссылка на пост в Майкрософт https://social.technet.microsoft.com...itprogeneralRU приложил я их как следует с 10й виндой. Она грузит, она. Ниже текст, кому интересно:

"Где не видел ответы прорицателей от Виндовс. Ответ один либо драйвер либо железо. Значит если не драйвер, то у точно железо ) без вариантов.
Вот по этому пути и шел в течение года. Очень симптоматично. Тонны дров с различными подсистемами. Год назад в январе проблема обозначилась и в этом январе, т.е. сегодня проблема похоже решилась. Нашел таки таких же горемык как и я в сети. В панели управления иконка электропитание. Слева вкладка - действие кнопок электропитания. Внизу чекбокс - включить быстрый запуск. Так вот надо этот быстрый запуск выключить, т.е. не зачеркивать чекбокс. На скорость загрузки это никак визуально не влияет, зато позволяет установить все положенные дрова при загрузке, а не откладывать их запуск, на когда машина работает на пользователя с максимальным загрузом приложений, а винда пытается доустановить отложенные пуски, ИМХО, что собственно и заметно в виде бесконечного перегруза одного ядра.
Обратите также внимание на диспетчер задач в момент перегруза одного из ядер процессом interrupts. В потоках прочерк. Это означает что этот процесс не отражает потоки вообще. Поэтому с осторожностью советую относиться к рекомендациям якобы решивших эту проблему пользователей с помощью Process Explorer, где в процессе interrupts на вкладке потоки эти пользователи находили якобы эти грузящие ядро потоки. Их там по определению быть не должно. )))

Итог. После как убрал быстрый запуски 6часов пытал машину в разных режимах загрузки тяжелыми приложениями и в разных режимах c 100% загрузкой всех ядер и длительной стрессовой перегрузкой по температуре. Ничего у меня не получилось. Никак не хотело ядро потом перегружаться. Так что в моем случае это не дрова и не железо. Это недопиленная схема питания, т.е. кривая винда.
Всем спасибо за участие."

Anton04 05-01-2020 21:57 2903675

Цитата:

Цитата vi_ssh
Слева вкладка - действие кнопок электропитания. Внизу чекбокс - включить быстрый запуск. »

Вероятно вы ошиблись, такой опции нету в Windows 7/2008R2 она появилась начиная с в Windows 8/2012.

vi_ssh 06-01-2020 00:53 2903705

Цитата:

Цитата Anton04
Вероятно вы ошиблись, такой опции нету в Windows 7/2008R2 она появилась начиная с в Windows 8/2012. »

А позвольте поинтересоваться, где вы в тексте увидели W7?) Речь в данном тексте шла о W10pro и только.

Цитата:

Цитата Anton04
Вероятно вы ошиблись, такой опции нету в Windows 7/2008R2 она появилась начиная с в Windows 8/2012. »

А позвольте поинтересоваться, где вы в тексте увидели W7?) Речь в данном тексте шла о W10pro и только. Спасибо, что подтверждаете, что проблема многолика на разных виндах.

Iska 06-01-2020 01:49 2903712

Цитата:

Цитата vi_ssh
Цитата:

Цитата Anton04
Вероятно вы ошиблись, такой опции нету в Windows 7/2008R2 она появилась начиная с в Windows 8/2012. »

А позвольте поинтересоваться, где вы в тексте увидели W7?) »

В данной теме речь шла про
Цитата:

Цитата d0ublezer0
Windows Server 2008R2 »

и ему по ядру соответствует Windows 7. Так что, коллега, простите, но это Вы влезли сюда с Windows 10.


Время: 18:49.

Время: 18:49.
© OSzone.net 2001-