Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Компьютеры + Интернет » Хочу все знать » [решено] Выбор оптимального способа хранения архивных данных

Ответить
Настройки темы
[решено] Выбор оптимального способа хранения архивных данных

Новый участник


Сообщения: 19
Благодарности: 0

Профиль | Отправить PM | Цитировать


Добрый день,

сразу прошу прощения, возможно, мои вопросы окажутся банальными, но не смог с ходу на них ответить. И за длиннопост.

Задача - отправить в "архив" большой объем информации (предположительно 1-3Тб) - старых фотографий, видео, документов, то есть всего, что либо с 90% вероятностью не понадобится (но удалить жалко), либо требуется раз в несколько месяцев. В данный момент все это разбросано по разным носителям - дискам, ЖД в компьютерах, ЖД не в компьтерах, облачных хранилищах. Частично с дублированием/ пересечением.

Требуется подобрать вариант по балансу цена-надежность-удобство доступа. С небольшим уклоном в надежность. Безопасность обеспечивается физической доступностью жд (облачное хранилище пока как опция).

Основные вопросы:
1. Как разобраться с дублированием/ пересечением? Все скопировать в одно место, потом сравнивать в Тотал Коммандере? Или есть спец. заточенные под это программы? Возможно, до архивирования за счет дублирований файлов может быть 2-3 Тб. Пока не придумал, как это обойти.
2. Достаточным вариантом по надежности будет два жд (по 1 или 2 ТБ или 3 ТБ, как получится) под архив с дублированием файлов на каждый? Дешевле варианта более-менее с нормальной сохранностью не смог придумать. Или лучше еще добавить облачное хранилище как третье хранилище (оплатить место для хранения самых важных файлов)?
3. Проще просто копировать по экземпляру файла на оба диска или выполнить клонирование на какой-нибудь док станции? Что в этом случае делать с обновлениями? Каждый раз клонировать?
4. Чисто теоретически - есть ли какая-либо возможность проверить файлы (хотя бы какие-нибудь форматы) на "битость" - то есть этот документ не массив битов, поврежденный по тем или иным причинам, а тот, который можно открыть?
5. Есть ли смысл рассматривать вариант сетевого хранилища, если доступ требуется крайне редко? Но теоретически будет большой плюс в удобстве.
6. Есть ли хитрости по долговоременному хранению ждисков в плане климата? Электромагнитному воздействию? Например, лучше убрать в металлический кейс?
7. Есть док. станция Орико USB 3.0 - нормально ли осуществлять доступ через нее? Или док станций лучше избегать и пользоваться подключением по Сата? Требуется ли для док. станции подключать её через ИБП во избежание последствий скачков напряжения?
8. Есть ли смысл переплачивать за более дорогие ЖД? Например, серии не Green/ Blue/ Barracuda, а Red/ Black, IronWolf и т.п. для большей сохранности/ надежности?
9. Есть ли смысл делать MBR вместо GPT для повышения шансов восстановления ЖД после отказа? А если жд потребуется в итоге по общему весу файлов больше 2 Тб?
10. Архивирование (сжатие) будет во вред в плане надежности или на пользу (с учетом данных для восстановления)? Или архивирование понизит шансы восстановления отдельных файлов?
11. Есть ли какие-либо другие способы повышения надежности/ защиты от утери типа рар архивирования с данными для восстановления? Или это будет только во вред?


Заранее спасибо.

Отправлено: 16:30, 01-06-2020

 

Забанен


Сообщения: 6345
Благодарности: 1436

Профиль | Цитировать


Цитата Iska:
А насколько оно годится для «больших» файлов, ну, например, образы виртуальных дисков или болванок (условно говоря)? »
Очень плохо, если работаем в команде. Да и вообще большие бинарники в гите (или любой системе контроля версий) держать дурацкая затея, очень напряжная. Гифки, пнгшки - да, но не образы по нескольку гигабайт. Обычно выкладывают образы с посчитанными контрольными суммами, прилагая эти контрольные суммы для проверки. Сейчас это обычно SHA256, тк для использовавшегося ранее MD5 доказаны коллизии.
Это сообщение посчитали полезным следующие участники:

Отправлено: 20:02, 02-06-2020 | #11



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Новый участник


Сообщения: 19
Благодарности: 0

Профиль | Отправить PM | Цитировать


Большое спасибо всем участникам.
И в некотором роде верно, обсуждение потихоньку начало превращаться в кашу.

Некоторые уточнения:
0. Первично речь идет о сборном архиве крайне редко используемых данных и периодических бекапах. То есть операции сброса бекапов будут чаще, чем необходимость доступа к ним. Вопрос обеспечения автоматического архивирования меня также интересует для реализации определенных задач, но не в этой теме.
1. Про бедняжку вопрос 4. Возможно, вопрос был сформулирован не корректно. Так как архив содержит файлы за многие годы (больше 10 лет), теоретически, он уже может быть поврежден - по крайне мере при работе с файлами архива антивирусы ругались на древние зловреды, возможно, классические вирусы. И задача была бы именно просканировать его на уже битые файлы, а не обеспечить проверку сохранности в будущем. С этой задачей более-менее понятны пути решения.
2. Про группы и типы файлов. Это фотографии, видео, и рабочие файлы. Рабочие файлы - почтовые архивы, документы ворд и ексель. Бекапы - в основном ворд и эксель, немного фото. Первичный пак документов (без фото и видео) скорее всего будет весить около или более 1 ТБ. Файлы разделены по годам и закрытым проектам, необходимости в бекапе активного проекта в данной теме нет (это другая задача - вопрос там в вере в пряморукость других людей и их точке зрения на ценность тех или иных файлов). И так как многие российские компании очень упорно продолжают пользоваться форматом doc, вопрос архивации не настолько банален.
3. Про GPT и MBR - подоплека такого вопроса следующая - несколько лет назад столкнулся с поврежденными данными на диске в GPT и несколько первых попавшихся по руку программ отказались работать с GPT. Я слабо ориетируюсь в вопросе, возможно, разница в данный момент не существенна, в том числе с учетом вероятности покупки ЖД на 3 ТБ.

Подитог:
с учетом инф. выше предполагается схема двух жд на 2-3 ТБ с частичным резервированием на облаке последних рабочих бекапов, разделение жд по месту физического хранения. Предпосылки: адекватная для задачи отказостойкость, минимальная относительная цена, доступность последних бекапов в облаке. Опции: создание хеш сумм для бекапов бесплатными средствами. Минусы - низкое удобство в ручной синхронизации, необходимость в рабочей станции/ док станции, ИБП при операциях записи бекапов. Доп. опции или-или: Повышение цены (около 1.5 на ТБ) из-за более вместительного жд ИЛИ проверка на дублирование и ручная сортировка имеющихся данных.
Два жд 3 ТБ WD30EZRZ обойдутся в 12 тысяч. Док станция есть, ИБП есть, облачное хранилище оплаченное есть. Но теоретически это плюс 4-7 тысяч (для кого-то ИБП будет перестраховкой, у кого-то в каждом месте хранения есть рабочая станция, а не ноутбук, и желание подключать по сата, т.е. и док станция не обязательна). Стоимость 1 ТБ облака в год на onedrive в данном случае не существена при покупке семейной подписки офис 365. И все равно печалька в 12к+ и кучу времени.

Основной оставшийся вопрос - это что делать с кучей документов ворд /эксель устаревшего формата? Сжимать их группами в архив с инф. для восстановления? Сжать каждый файл в отдельный архив zip при помощи консольных команд чего-нибудь вроде 7-zip? Преобразовать их в новый формат? Оставить так и купить более емкие жд?

Отправлено: 20:43, 02-06-2020 | #12


Забанен


Сообщения: 6345
Благодарности: 1436

Профиль | Цитировать


Цитата dan_p:
3. Про GPT и MBR - подоплека такого вопроса следующая - несколько лет назад столкнулся с поврежденными данными на диске в GPT и несколько первых попавшихся по руку программ отказались работать с GPT. Я слабо ориетируюсь в вопросе, возможно, разница в данный момент не существенна, в том числе с учетом вероятности покупки ЖД на 3 ТБ. »
Скажите, вот у вас случилась болезнь, температура, рвота, понос. Вы врача вызовете или будете жрать первые попавшиеся под руку таблетки?
Цитата dan_p:
что делать с кучей документов ворд /эксель устаревшего формата? »
Выкинуть нахер. Или не выкинуть. Документы по сравнению с мультимедиа занимают крошечное место, на три порядка меньше. Короче, что хотите, то и делайте. Чот вспомнилась одна дура, рассылавшая свои дурные фотки через gmail, от чего лимит бесплатный переполнился. Стёр всё её говно нахер, возражений не последовало.

Отправлено: 22:33, 02-06-2020 | #13


Ветеран


Сообщения: 27449
Благодарности: 8086

Профиль | Отправить PM | Цитировать


Цитата dan_p:
Основной оставшийся вопрос - это что делать с кучей документов ворд /эксель устаревшего формата? »
Ничего не делать. Держите их «как есть». Ну, не займут они у Вас сто гигабайт места.
Это сообщение посчитали полезным следующие участники:

Отправлено: 00:14, 03-06-2020 | #14



Компьютерный форум OSzone.net » Компьютеры + Интернет » Хочу все знать » [решено] Выбор оптимального способа хранения архивных данных

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
HDD - посекторное копирование HDD с помощью DMDE. выбор способа ввода-вывода. mityamitya Накопители (SSD, HDD, USB Flash) 3 16-08-2016 10:16
Разное - Выбор способа подключения к интернету. Павел_C Microsoft Windows 8 и 8.1 3 02-12-2013 21:57
Разное - Выбор системы хранения данных на магнитных лентах. Какие вопросы следует учесть? Elven Накопители (SSD, HDD, USB Flash) 0 12-09-2013 20:29
Загрузка - ВЫБОР СПОСОБА ЗАГРУЗКИ sokodi Тест-форум 7 01-05-2013 11:34
Выбор метода (способа) автоматической установки mppm Автоматическая установка Windows 2000/XP/2003 12 06-03-2007 19:31




 
Переход