CMD/BAT - [решено] Удаление большого количества папок и файлов

Busla · Отправлено: **10:45, 15-02-2020** | #31

Перечитал всю эту эпопею.

Цитата finderhd:

Думал про вариант с RD, заранее скопировав три главных последних каталога (YYYYMMDD), но т.к. файлов и подпапок очень много, то такой вариант подойдет лишь разово. Да и неизвестно сколько по времени он будет удалять, боюсь, всю память сожрет. А нужно этот процесс поставить на поток, »

Из верных предпосылок делаете неверные выводы.

Как раз ваши попытки использовать "решение поставленное на поток" для обработки десятилетнего архива и выжрет всю память, будет работать неизвестно сколько по времени и т.п.

Так что

Цитата finderhd:

вариант с RD, заранее скопировав три главных последних каталога

самый быстрый и надёжный (из простого и доступного по крайней мере)

А для ежедневного удаления одного файла и двух каталогов можно использовать уже почти любой инструмент не особо задумываясь о памяти и времени.

Цитата finderhd:

не хотелось бы грузить сервер во время удаления, поэтому предполагается удаление такого большого количества файлов и папок(подпапок) частями »

если у вас не настроены side-эффекты типа репликации, аудита и прочих реакций на события ФС, то блокирующей нагрузки на сервере не будет.

Что касается ежедневной зачистки - сформулируйте задачу конкретнее и сразу станет понятнее, как её решать. Выберите вариант:

Удалить каталоги, у которых дата в имени старше трёх суток
Удалить каталоги у которых дата создания старше трёх суток.
Удалить всё, кроме трёх последних каталогов.

vombat2 · Отправлено: **13:47, 15-02-2020** | #32

Как минимум есть желание поучаствовать в обсуждении, поскольку задача так скажем не самая скучная, поддержу педыдущий топик, что немного не хватает конкретики и на м.взг. не помешал бы снимок, может быть скриншот, части целевого дерева каталогов.

Iska · Отправлено: **21:26, 15-02-2020** | #33

Цитата megaloman:

Iska, У Вас есть соображения по этому поводу? »

Неа, я не глядел код.

finderhd · Отправлено: **08:55, 17-02-2020** | #34

Цитата megaloman:

этого не может быть. Разве что запустить его миллион раз. Какие процессы в диспетчере потребляют память? Кстати, как называется батник? »

Так и было. Запускал я батник всего лишь три раза. Запускал с интервалом в 10 минут. Первые два прошло нормально, а на третий сожралась вся память. А причем здесь название батника? Думаю, память сожралась из-за удаления возросшего количества файлов.

Цитата Busla:

А для ежедневного удаления одного файла и двух каталогов можно использовать уже почти любой инструмент не особо задумываясь о памяти и времени. »

В том то и дело. что ежедневно не один файл создается, а порядка 4,5 тыс. папок и столько же файлов. Сейчас проверил тенденцию, общий размер ежедневно появляющегося каталога стал заметно больше, порядка 30 мб. Изначально каталоги занимали по 3,5 Мб. Т.к. размер папок постепенно возрастал, а батник удалял всё что за 365 дней за 1 заход, вот и съелась оперативка. Но я об этом до последнего времени не знал.
На сервере работает по будням другой софт, но он жрет определенное количество оперативки и не более того. В среднем свободно постоянно порядка 5-7 Гб из 12.

Цитата Busla:

Что касается ежедневной зачистки - сформулируйте задачу конкретнее и сразу станет понятнее, как её решать. Выберите вариант:
Удалить каталоги, у которых дата в имени старше трёх суток
Удалить каталоги у которых дата создания старше трёх суток.
Удалить всё, кроме трёх последних каталогов. »

Так я ранее уже озвучил. Нужно удалять каталог вида YYYYMMDD за минусом трех дней. В выходные каталоги не создаются.

Сегодня они такие:

20200212
20200213
20200214

а завтра (например) должны быть уже такие:

20200213
20200214
20200217

Цитата vombat2:

Как минимум есть желание поучаствовать в обсуждении, поскольку задача так скажем не самая скучная, поддержу педыдущий топик, что немного не хватает конкретики и на м.взг. не помешал бы снимок, может быть скриншот, части целевого дерева каталогов. »

Уже было: http://forum.oszone.net/post-2909558-19.html

megaloman · Отправлено: **09:37, 17-02-2020** | #35

finderhd,

Цитата:

А причем здесь название батника

если имя батника совпадает с какой-нибудь программой/командой, то возможны коллизии. Лень разбираться - запустите сколько нужно раз батник ручками на удаление сравнительно небольшого количества дней, а в планировщик затем поместите самый простой скрипт.
А, еще лучше, вообще без бат-файла одну команду

Код:

cmd.exe /C FOR /F "usebackq Skip=3 delims=" %f IN (`Dir "\\Server\Test1\Folder_Main\2???????" /B /A:D /O:-N`) Do Rd /S /Q "\\Server\Test1\Folder_Main\%f"

Пути, естественно, за Вами

finderhd · Отправлено: **10:13, 17-02-2020** | #36

Цитата megaloman:

если имя батника совпадает с какой-нибудь программой/командой, то возможны коллизии. Лень разбираться - запустите сколько нужно раз батник на удаление сравнительно небольшого количества дней, а в планировщик затем поместите »

не, такого нет, имя батника уникальное

Цитата megaloman:

а в планировщик затем поместите »

спасибо, попробую на тестовом сервере

finderhd · Отправлено: **12:27, 17-02-2020** | #37

Цитата megaloman:

А, еще лучше, вообще без бат-файла одну команду »

Кстати, вот этот самый простой батник кстати безупречно отработал, и в шедулере корректно остановился.

Busla · Отправлено: **11:24, 18-02-2020** | #38

Цитата finderhd:

Так я ранее уже озвучил. Нужно удалять каталог вида YYYYMMDD за минусом трех дней. В выходные каталоги не создаются. »

вам стоило бы поправить своё первое сообщение, потому что озвучено там другое:

Цитата finderhd:

Нужно удалить все старые папки вместе с файлами, не трогая последние три. »

Работать с датами в батниках - занятие неблагодарное. Если делать по уму, то стоит писать это на PowerShell или WSH.

megaloman · Отправлено: **11:46, 18-02-2020** | #39

Busla,

Цитата Busla:

Работать с датами в батниках - занятие неблагодарное. »

Но тут этого и не требуется. Есть некий софт, который сохраняет файлы в папки с датой в имени. И три последние надо сохранить, даже не привязываясь к текущей дате, так как: "В выходные каталоги не создаются". Всё. По идее, можно привязаться и в Dir cmd к дате, например, создания папки. И три последние не трогать. Но тут что в лоб, что по лбу - есть конкретика задачи, есть некая система хранения файлов. Здесь всё просто. Не берусь судить о PowerShell, но на WSH эта задача, ИМХО, будет работать дольше, чем в CMD. А для ежедневной работы, когда мусор удалён, скрипт для сохранения несколько последних папок можно написать на чём угодно - здесь время мизерное.
Другое дело, если ежедневно создаются несколько папок с произвольными именами и надо сохранить папки за несколько последних дней - вот там будет возня с датами. Но решаемо и в CMD.

Busla · Отправлено: **12:41, 18-02-2020** | #40

Цитата megaloman:

И три последние надо сохранить, даже не привязываясь к текущей дате »

нет

в понедельник "три последние" - это пятница, четверг и среда

а автор хочет

Цитата finderhd:

удалять каталог вида YYYYMMDD за минусом трех дней »

т.е. чтобы в понедельник у него остался только пятничный каталог

Цитата megaloman:

По идее, можно привязаться и в Dir cmd к дате, например, создания папки. »

не надо так делать
это эникейский подход "на авось"
завтра поменяют код приложения и у всех каталогов будет идентичная дата создания, потому что каталог может не создаваться, а копироваться из шаблона
что будет при переносе ПО, восстановлении из бэкапа и прочих работах?

Кто вообще сказал, что каталог формируется за сегодня, а не за вчера? А ещё

Цитата finderhd:

В выходные каталоги не создаются. »

может означать, что каталоги за СБ и ВС формируются в ПН

В общем, вы и близко не понимаете бизнес-процесс, но готовы накостылять непонятно что и свалить в туман