|
Работа оперативки при копировании файлов
Windows Server 2008 RS2
При копировании больших файлов с жесткого на внешний hdd оперативная память забивается на 100% (отжирается примерно 6Гб) и начинает все жутко тормозить. Это нормально? Причем отжирается в первые 5-10мин копирования и далее все жутко тормозит |
Цитата:
|
|
Iska,
|
RomanWAR, а вы не пробовали выяснять, что отжирает оперативную память: проводник\драйвер USB\System\что-то другое (в мониторе ресурсов, PoolMon, ...)
|
gannet, ну видимо забирает система
Потому что я пробовал проводник, потом попробовал Total comander = результат один. Не могу нормально перекинуть файлы Я только что еще раз проверил. Может не так выразился, в process explorer это называется "Физическая память". Может на самом деле на 100% загружается сам диск и оттого лютые тормоза |
RomanWAR, ну тогда характеристики железа и s.m.a.r.t hdd сюда
|
freese, вот
Скрытый текст
 Характеристики Скрытый текст
--------[ AIDA64 Extreme ]---------------------------------------------------------------------------------------------- Версия AIDA64 v4.70.3200/ru Тестовый модуль 4.1.622-x64 Домашняя страница http://www.aida64.com/ Тип отчёта Быстрый отчёт Компьютер WIN-96SF4443CNO Генератор Администратор Операционная система Microsoft Windows Server 2008 R2 Standard 6.1.7601.17514 (Win2008 R2 RTM) Дата 2017-02-06 Время 11:08 --------[ Суммарная информация ]---------------------------------------------------------------------------------------- Компьютер: Тип компьютера ACPI x64-based PC Операционная система Microsoft Windows Server 2008 R2 Standard Пакет обновления ОС Service Pack 1 Internet Explorer 8.0.7601.17514 (IE 8.0 - Windows 7 SP1) DirectX DirectX 11.0 Имя компьютера WIN-96SF4443CNO Имя пользователя Администратор Вход в домен WIN-96SF4443CNO Дата / Время 2017-02-06 / 11:08 Системная плата: Тип ЦП QuadCore Intel Core i7-920, 2666 MHz (20 x 133) Системная плата Asus P6TD Deluxe (2 PCI, 1 PCI-E x4, 3 PCI-E x16, 6 DDR3 DIMM, Audio, Dual Gigabit LAN, IEEE-1394) Чипсет системной платы Intel Tylersburg X58, Intel Nehalem Системная память 24567 МБ (DDR3-1333 DDR3 SDRAM) DIMM1: Samsung M378B5273DH0-CH9 4 ГБ DDR3-1333 DDR3 SDRAM (9-9-9-24 @ 666 МГц) (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц) DIMM2: Samsung M378B5273DH0-CH9 4 ГБ DDR3-1333 DDR3 SDRAM (9-9-9-24 @ 666 МГц) (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц) DIMM3: Samsung M378B5273DH0-CH9 4 ГБ DDR3-1333 DDR3 SDRAM (9-9-9-24 @ 666 МГц) (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц) DIMM4: Samsung M378B5273DH0-CH9 4 ГБ DDR3-1333 DDR3 SDRAM (9-9-9-24 @ 666 МГц) (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц) DIMM5: Samsung M378B5273DH0-CH9 4 ГБ DDR3-1333 DDR3 SDRAM (9-9-9-24 @ 666 МГц) (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц) DIMM6: Samsung M378B5273DH0-CH9 4 ГБ DDR3-1333 DDR3 SDRAM (9-9-9-24 @ 666 МГц) (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц) Тип BIOS AMI (09/21/10) Отображение: Видеоадаптер NVIDIA GeForce 9600 GT (512 МБ) Видеоадаптер NVIDIA GeForce 9600 GT (512 МБ) 3D-акселератор nVIDIA GeForce 9600 GT Монитор Универсальный монитор PnP [NoDB] (6CM6111PRT) Мультимедиа: Звуковой адаптер Analog Devices AD2000B @ Intel 82801JB ICH10 - High Definition Audio Controller Хранение данных: Контроллер IDE Intel(R) ICH10 Family 2 port Serial ATA Storage Controller 2 - 3A26 Контроллер IDE Intel(R) ICH10 Family 4 port Serial ATA Storage Controller 1 - 3A20 Контроллер IDE Стандартный двухканальный контроллер PCI IDE Флоппи-накопитель Дисковод Дисковый накопитель Generic USB CF Reader USB Device Дисковый накопитель Generic USB MS Reader USB Device Дисковый накопитель Generic USB SD Reader USB Device Дисковый накопитель Generic USB SM Reader USB Device Дисковый накопитель ST3250624AS ATA Device (250 ГБ, 7200 RPM, SATA-II) Дисковый накопитель WDC WD20EFRX-68AX9N0 ATA Device (2000 ГБ, SATA-III) Дисковый накопитель WDC WD20EFRX-68EUZN0 ATA Device (2000 ГБ, SATA-III) SMART-статус жёстких дисков OK Разделы: C: (NTFS) 232.9 ГБ (197.2 ГБ свободно) D: (NTFS) 1863.0 ГБ (1374.5 ГБ свободно) E: (NTFS) 1863.0 ГБ (424.2 ГБ свободно) Общий объём 3958.9 ГБ (1995.8 ГБ свободно) Ввод: Клавиатура PS/2 Keyboard Клавиатура Клавиатура HID Мышь HID-совместимая мышь Мышь Logitech HID-compliant Unifying mouse Сеть: Первичный адрес IP 192.168.99.99 Первичный адрес MAC 00-26-18-FA-10-C2 Сетевой адаптер VMware Virtual Ethernet Adapter for VMnet1 (192.168.79.1) Сетевой адаптер VMware Virtual Ethernet Adapter for VMnet8 (192.168.34.1) Сетевой адаптер Адаптер для настольных компьютеров Intel(R) Gigabit CT Desktop (192.168.1.111) Сетевой адаптер Контроллер Marvell Yukon 88E8056 PCI-E Gigabit Ethernet (192.168.99.99) Сетевой адаптер Контроллер Marvell Yukon 88E8056 PCI-E Gigabit Ethernet Периферийные устройства: Принтер Microsoft XPS Document Writer Контроллер USB1 Intel 82801JB ICH10 - USB Universal Host Controller Контроллер USB1 Intel 82801JB ICH10 - USB Universal Host Controller Контроллер USB1 Intel 82801JB ICH10 - USB Universal Host Controller Контроллер USB1 Intel 82801JB ICH10 - USB Universal Host Controller Контроллер USB1 Intel 82801JB ICH10 - USB Universal Host Controller Контроллер USB1 Intel 82801JB ICH10 - USB Universal Host Controller Контроллер USB2 Intel 82801JB ICH10 - USB2 Enhanced Host Controller Контроллер USB2 Intel 82801JB ICH10 - USB2 Enhanced Host Controller USB-устройство Generic USB Hub USB-устройство Generic USB Hub USB-устройство Generic USB Hub USB-устройство Logitech Unifying USB receiver USB-устройство USB-устройство ввода USB-устройство USB-устройство ввода USB-устройство Запоминающее устройство для USB USB-устройство Составное USB устройство DMI: DMI поставщик BIOS American Megatrends Inc. DMI версия BIOS 0608 DMI производитель системы System manufacturer DMI система System Product Name DMI системная версия System Version DMI системный серийный номер System Serial Number DMI системный UUID 003E001E-8C0000A1-781B0026-18FA10C1 DMI производитель системной платы ASUSTeK Computer INC. DMI системная плата P6TD DELUXE DMI версия системной платы Rev 1.xx DMI серийный номер системной платы 101279870001000 DMI производитель шасси Chassis Manufacture DMI версия шасси Chassis Version DMI серийный номер шасси Chassis Serial Number DMI Asset-тег шасси Asset-1234567890 DMI тип шасси Desktop Case DMI всего / свободных сокетов памяти 6 / 0 |
RomanWAR, вообще-то Монитор ресурсов может указать на конкретный процесс, отжирающий память, а PoolMon даже и на драйвер :yes:
|
gannet, просто не хочу еще раз ложить сервер, чтобы сделать пробу )
|
На сотнях домашних пк видел что при копировании больших файлов с диска на диск (флешка-пк, на одном и на разных физ.дисках) компьютер тормозит во время этой процедуры. Считал что это должное...
|
RomanWAR, 1. проверьте на USB-концентраторах\Питание - не подсоединено ли к тому же концентратору другое устройство. На вкладке Дополнительно написано на максимальной\высокой скорости?
2. В дисковых устройствах, в свойствах этого диска проверьте вкладку Политика, стоит ли быстрое удаление? Если стоит кэширование, то ничего удивительного, особенно если учесть разницу между скоростью чтения с диска SATA и записи через USB. 3. конечно, врядли, но все-таки - часто ли вы подключаете к серверу разные USB-устройства? Если да, то попробуйте devnodeclean |
gannet, 1. Может я не правильно смотрю, но тут такого нет
Скрытый текст
2. Не совсем понял. В USB контроллерах проверить / в жестком диске откуда копирую / или во внешнем hdd ? |
RomanWAR, 1. Вы смотрите host controller, а я про концентраторы (для usb2.0 у вас, похоже, generic usb hub называются). Как там, кстати, на сервера драйвера чипсета ставятся?
2. В Дисковых устройствах для вашего внешнего диска (кэширование ведь для операций записи) И что за неизвестное перед звуковыми устройствами, если не секрет? |
gannet,
1. Два на максимальной скорости, один на высокой (кстати в чем разница ?). Драйвера нормально встали, не помню чтобы я что-то химичил :) 2. Стоит Быстрое удаление >И что за неизвестное перед звуковыми устройствами, если не секрет? Фиг его знает. Давно все это устанавливалось, но все работает как часы Update: Сейчас ради интереса проверил перенос файла размером 200Гб между двумя дисками (внутренние, стандартные hdd) - та же самая фигня происходит |
Цитата:
Короче, я в деле :) |
ShaddyR, не уверен что он эффективно решает эту задачу, потому как когда заполняется на 100%, ладно все тормозит, но и процесс копирования начинает значительно увеличиваться.. было пол часа, стало полтора часа. Как-то так
|
RomanWAR, 1. В режиме FullSpeed (Максимальная) она ограничена 12 Мбит/с (как в версии 1.1 спецификации), HiSpeed (высокая) позволяет обмениваться данными на скоростях до 480 Мбит/с - высокая лучше, однако!
2. Для внутренних HDD кэширование обычно включено по умолчанию (Разрешить кэширование записей для этого устройства). У меня при копировании большого файла отъедается порядка 250 МБ (памяти 4ГБ) и держится на том же уровне все время копирования в области Изменено (Монитор ресурсов), а Свободной, кстати, нет, только Ожидание\Кэшировано. Почему у вас такая проблема? То ли это действительно серверная ОС по своей логике так распределяет свободные ресурсы (у меня 10 Ent), то ли где-то выставлен более высокий приоритет дисковых операций... |
gannet,
>то ли где-то выставлен более высокий приоритет дисковых операций.. Говорите где проверять, буду делать скриншоты :) |
Ни у кого идей нет? Блин мне файл надо скопировать, выключать виртуалки нельзя )
|
RomanWAR, Win 7/8.1/10 операция копирования никак не отражается на объеме Используемой оперативной памяти, не мониторится ни в диспетчере задач, ни в poolmon, отражается лишь на вторичных областях памяти: Изменено растет в зависимости от скорости записи, Кэшировано постепенно вытесняет Свободно, когда свободная память заканчивается, кэшированная область просто перестает расти. Вы же свои растущие процессы/драйвера/Nonpaged не выдаете (сами же утверждаете, что отжирается за 5-10 мин, а не сек)
Если выясните, что съедает память, возможно, как заплатка, поможет ProcessHacker, там можно изменить приоритет использования памяти процессом (Miscellangelous/Page priority). Утечку памяти надо отслеживать/анализировать/устранять, а это наверняка она, ведь так;) P.S. извините за вопрос, но копируете-то вы, часом не с виртуалки? |
Цитата:
|
gannet, не с виртуалки
Казбек, отдельно не устанавливал, только если было в комплекте с обновлениями и поставилось автоматически |
При беглом взгляде на technet в двух случаях из трех виноват RAID-контроллер, вы его настройки кэширования\ драйвера проверяли
Ну и без ProcessHacker'а через реестр попробуйте для проводника\тотала задать Код:
Windows Registry Editor Version 5.00 |
gannet, нету такого
Скрытый текст
ProcessHacker - могу это попробовать. Только как там что менять? |
RomanWAR, подразумевалось, что Вы должны создать:
Цитата:
|
Iska, хе-хе
Так какой вариант тогда Тут создавать [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Image File Execution Options\explorer.exe\PerfOptions] или тут HKLM\Wow6432Node\Software У меня x64 |
Без разницы. Ибо, где бы Вы не создавали — там или там — в реальности раздел и параметры будут созданы в HKLM\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Image File Execution Options, поскольку раздел HKLM\SOFTWARE\Wow6432Node\Microsoft\Windows NT\CurrentVersion\Image File Execution Options является символьной ссылкой на HKLM\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Image File Execution Options.
Цитата:
Цитата:
Цитата:
Код:
HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Microsoft\Windows NT\CurrentVersion\Image File Execution Options |
Я правильно сделал ?
Скрытый текст
|
RomanWAR, Честно говоря, я вас немного не понимаю, проблема у вас, диагностика у вас, инструмент тоже - почему сами не проверяете, работает гипотеза или нет? Ведь, насколько я понимаю, проблема проявляется только на 5-10 минуте копирования, которое еще никто не запрещал отменять\выбирать файл по размеру. Или вы это копирование через какую-то безрукую консоль запускаете?
Всё так(обратите внимание на последний пост в теме) Ну и вот фикс реестра (там в конце и конкретные ключи показаны) для server 2003 |
gannet, проверил без перезагрузки - не помогло
перезагружать сервер обязательно? Тут такие вещи крутятся, что офлайн 10-15мин пока все ребутнется не есть хорошо |
RomanWAR, вы хотя бы explorer перезапустите, а там видно будет...
P.S. может вам все-таки в серверную тему репостить? Там у товарищей и сервера, и опыт, и raid, который может быть виновником, для них не термин из Википедии... Я просто не знаю, насколько админы любознательны и свободны для просмотра тем без слова сервер в разделе "Хочу все знать" |
gannet, перезапускал (закрыл проводник\открыл проводник)
Может и надо перенести.. это уже на усмотрение модераторов |
Цитата:
Кстати, процесс переполнения памяти вы чем-нибудь мониторили, что все-таки память отнимает, уходит ли она в Nonpaged. P.S. есть и встроенный инструмент с широкими возможностями - perfmon.msc, неплохо бы вам на его счетчики по оперативной памяти посмотреть на время копирования;) |
gannet,
>А у вас что твик какой-то был - для каждого окна проводника свой процесс создавать, причем не дочерний? нет, все стандартное >Кстати, процесс переполнения памяти вы чем-нибудь мониторили, что все-таки память отнимает, уходит ли она в Nonpaged. Нет, скажите как сделать, проверю >P.S. есть и встроенный инструмент с широкими возможностями - perfmon.msc, неплохо бы вам на его счетчики по оперативной памяти посмотреть на время копирования Сделал видео с этим инструментом, чтобы было понятно как дела обстоят ) Скрытый текст
https://www.youtube.com/watch?v=o_Yu_KGyICI&feature=youtu.be
|
Вложений: 1
RomanWAR, кажется нашел костыль, который реально работает у меня (очищает всю кэшированную память, даже во время копирования) - пункт меню "Empty standby list" в RAMMap ( http://forum.ixbt.com/topic.cgi?id=7:44412)
Там, кстати, есть и опция очистки кэша только с нулевым приоритетом, возможно, вам стоит для проводника выставлять нулевой приоритет (под перезапуском я предполагаю остановку/запуск процесса в диспетчере задач), причем с processhacker'ом можно обойтись и без перезапуска. График тоже записывал, группой сборщика данных, завтра сравню с вашим)) Скрытый текст
Nonpaged память можете помониторить в poolmon, ее значительное количество будет означать проблемы с памятью/драйвером контроллера. Наоборот, ее малое количество может означать неверную настройку, ибо ОС в таком случае, как будто предполагает дисковый кэш первоочередным (ибо он самый свежий), но даже в таком случае кэш не может иметь приоритета (несмотря на опцию largesystemcache) перед рабочими процессами (кстати, а у виртуалок в processhacker приоритеты не смотрели?) |
gannet, скачал RAMMap, во время копирования большого файла нажал Empty standby list = без результатно
остальное не попробовал, не знаю как это сделать на ixbt вычитал, что можно попробовать total commander "Копирование делайте программами умеющими не создавать большие буферы (проводник/explorer к таковым не относится) - xcopy /j В total commander'е есть настройки." Только не совсем понятно, где и какую именно настройку нужно включить Update: По тотал командеру, странно, вроде и выставлено все верно 10мб кеш максимальный, автоматическое определение больших файлов Скрытый текст
|
RomanWAR, ну да, xcopy /j - копирование с использованием небуферизованного ввода/вывода. Рекомендуется для очень больших файлов.
А по тоталу - на вашем скриншоте ограничение кэша неактивно (я так понимаю, автоматически только для маленьких файлов), да и странно, что ограничения для проводника не срабатывают и память не очищается - она у вас точно в кэше (standby) забивается? Если не помогут, вы все таки в poolmon помониторьте, отсортировав клавишей b, ведь если rammap не вычищает, то память возможно в working set и вы ее там уже увидите.. |
gannet, вы расскажите как это использовать.. я с таким никогда не сталкивался
xcopy /j и poolmon |
RomanWAR, яндекс наше всё!
xcopy - программка встроенная, просто запускаете командную строку, xcopy /j c:\аватар-4d-монтажер-спился.mkv d:\в-планах-посмотреть\ и поехали Poolmon скачиваете (ссылку я вам уже кидал), запускаете от имени администратора, жмете b и наблюдаете, какой драйвер/поток отьедает вашу оперативную память. Потом ищете " список тэгов poolmon" и в нем своего лидера по отжору, впрочем, ссылка на руководство также в доступных источниках)) |
gannet,
xcopy - программка встроенная, просто запускаете командную строку, xcopy /j c:\аватар-4d-монтажер-спился.mkv d:\в-планах-посмотреть\ и поехали Это помогло. Еще бы какая-то графическая оболочка была, чтобы ручками не набирать, так вообще чудесно )) |
Цитата:
|
надо пробовать. в любом случае думаю вопрос можно считать решенным. спасибо всем :)
|
Цитата:
|
| Время: 19:48. |
Время: 19:48.
© OSzone.net 2001-