Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » Любой язык - Файлы большого объема html сохранить в csv, изменив структуру

Ответить
Настройки темы
Любой язык - Файлы большого объема html сохранить в csv, изменив структуру

Старожил


Сообщения: 235
Благодарности: 8

Профиль | Отправить PM | Цитировать


Добрый день. В приложении ссылки находятся три файла.
Файл csv - желаемый результат.
Файл html - материал для обработки, приложил один, а так их несколько.
Файл xlsx - получаемый результат в Excel в надстройке Power Query. Если в папке один файл html, то Power Query его обработает за минуту-пол-тары. Если скопировать пару раз этот же файл, то PQ три файла обработает за минут пять. Если же размножить до десяти, то на обработку уходит более 15 минут. Результат не очень.
http://forum.oszone.net/thread-150969-4.html
Глядя в этой теме как лихо скрипты расправляются с файлами csv, хотел бы решить и эту задачу, используя скрипт. То есть обработать папку с файлами html, изменив структуру данных и сохранив в csv. Возможно ли это и сколько времени потребуется на обработку?



https://drive.google.com/open?id=1ob...li253cDbc-GMU_

Отправлено: 16:31, 29-03-2020

 

Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6491
Благодарности: 1465

Профиль | Отправить PM | Цитировать


html-файлы создаются для отображения уже готовой информации в виде, понятном человеку. Обрабатывать их, особенно таблицы с огромным количеством объединённых строк - занятие крайне неблагодарное и непродуктивное.
Что создаёт эти html-таблицы, откуда они выгружаются?

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 09:05, 30-03-2020 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Старожил


Сообщения: 235
Благодарности: 8

Профиль | Отправить PM | Цитировать


Цитата DJ Mogarych:
откуда они выгружаются? »
выгружаются из R-Keeper (программа в ресторанах)
Цитата DJ Mogarych:
особенно таблицы с огромным количеством объединённых строк »
одним из вариантов обработки в Power Query было перевернуть данные(то, что было справа, стало слево) и добавить null-ей до общего количества значений 18 штук, затем перевернуть обратно

Отправлено: 09:24, 30-03-2020 | #3


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6491
Благодарности: 1465

Профиль | Отправить PM | Цитировать


Этот R-Keeper умеет выгружать данные во что-то другое?
Там вроде бы есть экспорт в DBF или MSSQL.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)

Это сообщение посчитали полезным следующие участники:

Отправлено: 10:27, 30-03-2020 | #4


Старожил


Сообщения: 235
Благодарности: 8

Профиль | Отправить PM | Цитировать


Цитата DJ Mogarych:
умеет выгружать данные во что-то другое? »
точно не скажу, говорят что может выгружать в Excel, но при открытии больших файлов часть данных теряется.

Отправлено: 10:37, 30-03-2020 | #5


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6491
Благодарности: 1465

Профиль | Отправить PM | Цитировать


Цитата v79italya:
при открытии больших файлов часть данных теряется »
Какая прелесть.
В любом случае, можно, наверное, делать нечеловеческие усилия и парсить этот HTML, но я бы не советовал. Надо выгружать во что-то более осмысленное. Я немножко пытался парсить, но безрезультатно.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)

Это сообщение посчитали полезным следующие участники:

Отправлено: 10:44, 30-03-2020 | #6


Аватара для YuS_2

Crazy


Contributor


Сообщения: 1171
Благодарности: 487

Профиль | Отправить PM | Цитировать


Цитата v79italya:
одним из вариантов обработки в Power Query было перевернуть данные(то, что было справа, стало слево) и добавить null-ей до общего количества значений 18 штук, затем перевернуть обратно »
слишком частное решение, помимо rowspan-ов, в таблице могут оказаться и colspan-ы, тогда этот метод не сработает... во всяком случае, правильно не сработает.

Цитата DJ Mogarych:
можно, наверное, делать нечеловеческие усилия и парсить этот HTML, но я бы не советовал. Надо выгружать во что-то более осмысленное. »
именно так!
Чтобы распарсить rowspan-ы, потребуются немаленькие усилия... если бы таблица была простой, то и парсить её было бы просто.
Правильнее - получать доступ к исходным данным и уже потом заниматься их обработкой.

-------
scio me nihil scire. Ѫ

Это сообщение посчитали полезным следующие участники:

Отправлено: 12:27, 30-03-2020 | #7


Старожил


Сообщения: 235
Благодарности: 8

Профиль | Отправить PM | Цитировать


DJ Mogarych, отсюда ноги растутhttps://www.planetaexcel.ru/forum/in...-v-power-qwery
Мне было интересно возможно ли быстрая обработка файлов

Отправлено: 16:06, 30-03-2020 | #8


Ветеран


Сообщения: 27449
Благодарности: 8086

Профиль | Отправить PM | Цитировать


v79italya, быстрая обработка возможна для реляционных баз данных. Почему авторы R-Keeper не озаботились экспортом во что-то вменяемое — хрен его знает.

Отправлено: 18:54, 30-03-2020 | #9


Аватара для DJ Mogarych

fascinating rhythm


Moderator


Сообщения: 6491
Благодарности: 1465

Профиль | Отправить PM | Цитировать


Так озаботились же вроде, просто разобраться надо.

-------
Powershell 7.x | Powershell 5.1 | ffmpeg (docs)


Отправлено: 20:35, 30-03-2020 | #10



Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » Любой язык - Файлы большого объема html сохранить в csv, изменив структуру

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
2008 R2 - Синхронизация большого объема данных zer0c0o1 Windows Server 2008/2008 R2 2 28-10-2014 14:26
EP-8HDA5J не функционирует с винчестерами большого объема. love_fist911 Материнские платы и память 6 15-08-2011 05:52
Разное - [решено] Не запускаются exe файлы большого объема. necrospunk Microsoft Windows 2000/XP 6 24-04-2011 15:46
2008 R2 - Подвисает копирование файлов большого объема из сети ujin Windows Server 2008/2008 R2 2 07-10-2010 12:57
HDD - старый BIOS и винчестер большого объема. Trinux Накопители (SSD, HDD, USB Flash) 2 30-05-2009 20:22




 
Переход