Копирование большого количества файлов по сети
 

Добрый день, помогите пожалуйста с решением следующей задачки. Заранее прошу прощения, если уже были подобные вопросы, просьба кинуть ссылку или готовое решение, я искал и полностью похожей задачи не нашел.

Необходимо с одного ПК ископировать большое количество файлов (оснавная папка и подпапки) на другой ПК, находящийся в одной и той же сети (сетевой доступ между ПК есть).
Размер основной папки большой, чуть более 200Гб. Содержит большое количество подпапок и мелких файлов. Т.е. с папки C:\Distr\Files\подпапки копировать на другой ПК в C:\Distr\Files\подпапки
Копирование должно пройти быстро, в течении хотя бы 12 часов (этого будет достаточно). Но если возникнет необходимость повторного копирования, то копировать необходимо будет сделать только новые подпапки или файлы. Результат копирования, по возможности, лучше записать в лог, но без перечисления (т.к. боюсь это займет много времени и лог очень сильно вырастит), а как бы в процентном соотношении, что было скопировано всё в первом случае, и только новые файлы, во втором.

finderhd, Совсем недавно было решено А что Вы там хотите увидеть? При многократном запуске батников уже скопированные файлы повторно копироваться не будут, если в источнике копирования они не были изменены.

Чтобы убедиться, что все файлы были скопированы.

Немного упустил этот момент, прошу прощения. Какие-то из файлов - постоянные и не меняются, но есть и файлы, которые будут меняться. В них в конце каждого дня дописывается информация, поэтому они будут меняться.

Например.

Запустили батник, который в определенную дату скопировал всё содержимое в каталог C:\Distr\Files\
Связано это с переездом данных с одного ПК на другой. На следующий день выяснилось, что переезда как такового осуществляться не будет и будет он неизвестно когда, а файлы уже обновились. Замечу, что имена файлов не меняются, меняется только их состав (дата, а именно признак "Изменен" обновляется каждый день).

Я так понимаю, в любом случае этот скрипт должен для таких условий подойти?

В принципе, батник будет запускаться через шедулер, по расписанию, и там можно посмотреть, сколько задача работала по времени, поэтому наверное время можно и убрать, если это нагружает работу скрипта?

Тогда и писать в лог нужно все каталоги и файлы.

Iska, Не обязательно. Можно запустить батник с xcopy несколько раз c ключом /D и, при отсутствии аварийных сообщений при работе, сообщение о том, что скопировано 0 файлов позволит убедиться, что все файлы скопированы.
Можно еще сравнить суммарный объем папок ...
А при большом количестве писать в лог все каталоги и файлы контрпродуктивно, визуально убедиться, что все файлы скопированы, нельзя.

Я уже видел работу таких скриптов, там лог настолько разрастается, что просто жуть, да и само копирование из-за этого происходит медленно.

Я думаю этого было бы достаточно. Т.к. потом можно просто взять и сравнить по количеству файлов и папок. Правда файлов настолько много (несколько миллионов), что стандартным способом посмотреть их количество будет сжирать оперативу влет (уже проходил через это, пришлось потом чистить память мапколлектом). Но есть другие способы увидеть количество файлов и папок, с помощью определенной утилиты, которая памяти столько не жрет, поэтому посмотреть количество там и там, в принципе не проблема. Вышеуказанный скрипт будет выводить число скопированных файлов в лог?

Еще уточнение такое, что количество папок всегда одинаковое, меняются только определенные файлы. В них дописывается техническая информация ежедневно.

finderhd, я Вам предоставил вариант, попробуйте хоть на каких-нибудь тестовых данных, уверен, увидите ответы на свои вопросы

Проверил на тестовой папке. Батник скопировал только папки и файлы внутри них, но файлы, которые лежали в корневой исходной папке (Test1), он не скопировал. И лучше наверное все-таки убрать возможность записи в лог. А то на 2 млн файлов он там много чего напишет в лог. Эта информация лишняя, я лучше с помощью утилиты посмотрю количество файлов в исходнике и там, куда они скопировались.
И еще заметил, что если запускать батник через планировщик задач, а именно так и нужно будет (во внерабочее время) то в History не видно, что он отработал (нет записи Task Completed, только Action Started), как будто он до сих пор висит в памяти. Пришлось задачу остановить вручную через End, и тогда запись Task Completed появилась.

finderhd, Не прошло и полгода :)
И в самом деле, в корне папки Test1 файлы не копируются - моё недомыслие. Добавил это копирование:Тогда это вообще одна строкаЯ бы предложил альтернативу: в лог писать только начало запуска и итог работы батникаИ, наконец, до меня только дошло, что возможно Вы бездумно вставили мой код в планировщик и поэтому Вы обнаружили Если в коде присутствует Pause (а я её оставлял, чтобы посмотреть на результат исполнения в командном окне), то батник в планировщике естественно никогда не завершится, Pause требует ответа. Убейте её, или напишите
Rem Pause
Надеюсь, Ваша реакция последует несколько раньше, чем Новый Год :)

Доброго дня. Уж извините, что так поздно отвечаю. Задача не срочная, а в перспективе, просто я готовлюсь заранее так сказать :) Ваше замечание учёл, буду стараться проверить сразу, к сожалению не всегда такая возможность есть, в виду других дел. По поводу паузы и планировщика, да, моё упущение.

Согласен с Вами, альтернатива замечательная, спасибо, проверю этот вариант в самое ближайшее время и отпишусь о результатах.

Попробовал альтернативный способ - ничего не произошло. Если батник запускать из консоли, то ничего не происходит, но лог создается
В логе следующие записи:

File not found - *.*
0 File(s) copied

И еще вопрос - можно ли сделать так, чтобы атрибуты по дате создания каталогов, как в случае файлов (с файлами в этом плане всё нормально), сохранялись, а не отображались датой запуска батника?

finderhd, У Вас неверно указан исходный путь. Переименуйте Ваш батник в файл с расширением .txt и приложите к сообщению.
Вот вариант с проверкой существования исходного пути. Стандартных методов не знаю. И с файлами тоже не так всё просто. При копировании файла его копия имеет дату создания копии, а дата изменения - реальная. То есть дата создания файла больше даты последнего изменения. С папками (возможно я ошибаюсь), при копировании дата создания и дата изменения будут иметь дату создания копии, а далее дата изменения - дата записи последнего файла в эту папку.

У меня стоял символ \ в конце каталога, видимо из-за него.

В принципе, это не критично, главное наличие самого файла.

В любом случае, теперь всё работает, спасибо!

Заметил еще один момент. В папку назначения копируются только вложенные папки, а исходная, которая указывается в батнике (Test1) не копируется, если её не указать в назначении, это не совсем удобно, если нужно выборочное копирование.

Т.е. можно к примеру сделать так, чтобы в папке назначения не указывать имя копируемого каталога?

Set "BoxIn=\\192.168.100.23\Test1"
Set "BoxOut=Z:\Box_Arc\Test1"

Копируется. Только содержимое \\192.168.100.23\Test1 попадёт в Z:\Box_Arc, просто папка Test1 не создастся. Для выборочного (и для полного тоже) копирования вот варианты:В этих примерах исходная папка
\\192.168.100.23\Дискета_от_книги\Chapter05\
с подпапками, естественно, попадёт в
Z:\Box_Arc\Test1\Дискета_от_книги\Chapter05
Папка при отсутствии будет создана.

Можно сделать так: Получим Z:\Box_Arc\Тестовые_сетевые_папки\Test1\Дискета_от_книги\Chapter05

Можно эдак: Получим Z:\Box_Arc\Test1\Дискета_от_книги\Chapter05

А можно вообще извратиться, например, для копирования с разных серверов в одну папку с идентификацией сервера в копии Получим Z:\Box_Arc\192.168.100.23\Test1\Дискета_от_книги\Chapter05

megaloman,
Доброго дня. Оставил самый простой вариант, без лога, который


Все отлично скопировалось. Но к задаче добавилось условие для некоторых других папок. Т.е. их как то выделять или добавлять отдельно в бат файл не нужно, я просто их сам укажу. Как с них по такому же сценарию скопировать файлы, но в зависимости от даты создания? Например, чтобы скопировались только файлы, созданные за последний месяц, год и т.д. в количестве дней, подскажите пожалуйста.

finderhd, Для xcopyНелёгкая задача в CMD посчитать дату, вот вариант (тупо использую отлаженную процедуру):Set /A DeltaDay=-31
Здесь указываем число дней для пересчета текущей даты ("-" назад).
Наверное можно то же сделать посредством forfiles.