Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Компьютеры + Интернет » Хочу все знать » как работать с большими файлами

Ответить
Настройки темы
как работать с большими файлами

Ветеран


Сообщения: 580
Благодарности: 2

Профиль | Отправить PM | Цитировать


есть файл весит хрен знает сколько , сотни гигов, в этом файле одни цифры, их надо упорядочить от 0 и до победного конца
вопрос как это сделать, чтобы сервак совсем не крякнуть

как сделать сортировку это всего лишь полстрочки в питоне (sort функция)
вопрос если просто это сделать сервер умрет.
Подскажите, как бы мне разделить на батчи целиковый файл, чтобы его просортировать, да так,чтобы сервер не убить и сколько примерно по времени такой файл будет отрабатывать. Как бы минимзировать вычислительную сложность ,чтобы он не 100 лет думал?

Отправлено: 12:57, 07-02-2020

 

Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6491
Благодарности: 1465

Профиль | Отправить PM | Цитировать


А толку бить на куски, если потом всё равно надо отсортированные куски составлять вместе и сортировать заново?

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 14:12, 07-02-2020 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Аватара для freese

Ветеран


Contributor


Сообщения: 6678
Благодарности: 1296

Профиль | Отправить PM | Цитировать


если канал резиновый, то можно купить какой-нибудь облачный сервер (сейчас хоть почасовая оплата доступна) и загрузить его, пускай "развлекается"

Отправлено: 14:32, 07-02-2020 | #3


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6491
Благодарности: 1465

Профиль | Отправить PM | Цитировать


Ну или можно попробовать через Powershell Core 7, очень эффективная и быстрая штука.
Непонятно только, что за сервер и что за файл, и есть ли требования к инструменту сортировки - питон там, удав или ещё что.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 14:35, 07-02-2020 | #4


Ветеран


Сообщения: 3806
Благодарности: 824

Профиль | Отправить PM | Цитировать


Цитата r-studio:
сть файл весит хрен знает сколько , сотни гигов, в этом файле одни цифры »
т.е. текстовый файл?!

раскидать содержимое по отдельным файлам основываясь на паре старших разрядов
отосортировать каждый из них привычным способом
собрать по порядку отдельные файлы в один большой

Цитата DJ Mogarych:
Ну или можно попробовать через Powershell Core 7, очень эффективная и быстрая штука. »
и что за средства есть в седьмом PoSh'е для сортировки файлов без загрузки в память?

Отправлено: 15:37, 07-02-2020 | #5


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6491
Благодарности: 1465

Профиль | Отправить PM | Цитировать


Busla, не знаю, в соседней ветке был случай с group, так PS 5.1 у меня пыхтел больше суток и так и не сделал, а PS 7 работал минут 15-20. Допускаю, что и с sort могло произойти нечто подобное.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 21:58, 07-02-2020 | #6


Ветеран


Сообщения: 580
Благодарности: 2

Профиль | Отправить PM | Цитировать


Ребят, спасибо за подсказки, по крайней мере понял на что смотреть.

Отправлено: 11:25, 08-02-2020 | #7


Ветеран


Сообщения: 27449
Благодарности: 8086

Профиль | Отправить PM | Цитировать


Никакие PowerShell'ы, хоть обычные, хоть Core'ы, сюда не годятся по определению. Чистый (без .Net) C/C++, а лучше ассемблер.

Но начинать надо с:
Цитата DJ Mogarych:
что за файл, »

Отправлено: 21:57, 08-02-2020 | #8


Ветеран


Сообщения: 580
Благодарности: 2

Профиль | Отправить PM | Цитировать


Iska, txt файл

Iska, и как ассемблер может тут помочь?

Отправлено: 10:52, 09-02-2020 | #9


Ветеран


Сообщения: 27449
Благодарности: 8086

Профиль | Отправить PM | Цитировать


Цитата r-studio:
txt файл »
Вы можете упаковать его некоторую часть (пару-тройку мегабайт) в архив, каковой выложить на облако/вменяемый обменник?

Цитата r-studio:
и как ассемблер может тут помочь? »
Скоростью обработки. Фактически, что напишете — то и будет в машинных кодах, без включения лишнего.

Отправлено: 11:06, 09-02-2020 | #10



Компьютерный форум OSzone.net » Компьютеры + Интернет » Хочу все знать » как работать с большими файлами

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Разное - Папки с файлами на флешке стали файлами, что делать? dd300 Microsoft Windows 10 6 11-12-2019 14:57
Sharepoint - MS Sharepoint 2010 - проблема с большими HTML-файлами в области совместной работы Greyman Другие серверные продукты 0 08-10-2018 17:14
HDD - Беспричинный шум головок при отсутствии нагрузки после операций с большими файлами. sputnikk Накопители (SSD, HDD, USB Flash) 4 18-06-2017 04:59
Установка - загружается как бы по кадрам с большими задержками, видео так же Дашка Microsoft Windows 2000/XP 4 10-07-2011 14:28




 
Переход