[YuS_2]

героический человек »

Да чего там героического?
Как оказалось, глаза боятся, а руки делают... немного гугля, чуть-чуть ковыряния в доках и загашниках со скриптами, в итоге получилось rowspan-ы расковырять. На всё про все, час-полтора с перерывами...
Тем не менее, время обработки, всё равно, невменяемое, имхо. Для небольших таблиц сгодится, а для объемных - лучше таки воспользоваться чем-то другим...

[v79italya]

YuS_2, вчера запускал и не понимал что происходит и происходит ли что нибудь.
Сегодня еще раз запустил скрипт и ушел на полчаса. Через пол-часа смотрю, появился csv заполненный и txt, в котором узнал что парсило девять минут. Согласен что девять минут - это много.
Вывод такой: по любому парсеры быстро не работают

[DJ Mogarych]

Парсеры всякой неудобоваримой шляпы быстро не работают.

[v79italya]

Парсеры всякой неудобоваримой шляпы »

дам ссылку на эту тему автору темы, от которой ноги растут. Пусть примет к сведению

[YuS_2]

Выдалось время одновременно с желанием понажимать кнопки...
Скрипт теперь "умеет" учитывать и rowspan-ы, и colspan-ы, плюс немного описания:

script.ps1

Код:

<#
.SYNOPSIS 
	Парсер таблиц .html

.Description
	Скрипт парсит таблицы в формате HTML и записывает данные в формате CSV 
	- для каждой таблицы отдельный файл. Учитываются объединенные ячейки по
	строкам и(или) по колонкам, ROWSPAN и COLSPAN.
	Число колонок определяется автоматически, по тегам TH. Имена заголовков 
	присваиваются из значений элементов TH. При отсутствии тегов TH, число
	колонок определяется по максимальному числу ячеек в строках, при этом 
	наименование заголовков	будет формироваться автоматически, с префиксом
	'H' и с номерами по порядку.
	Размеры строк таблицы должны быть в пределах количества заголовков, т.е.
	структура таблицы должна быть правильной, в том числе, с учетом ROWSPAN
	и COLSPAN 

.Parameter Infile
	Обязательный: Указывается файл в котором необходимо распарсить таблицу(ы)

.Parameter Outfile
	Необязательный: Имя для выходных файлов .csv. Указывается только имя, без
	расширения. К имени будет добавлен номер таблицы по порядку.

.Example
	.\script.ps1 -Infile 'test.html'
	
.Example
	.\script.ps1 -Infile 'test.html' -Outfile 'd:\folder\name_file'

.Example
	.\script.ps1 'test.html' 'name_file'

.Example
	.\script.ps1

.Notes
	Created By YuS
	Version: 1.02
	Date: 16/04/2020
	Purpose/Change:	Устранение багов кода. Исключение вложенных таблиц.
	Version: 1.01
	Date: 06/04/2020
	Purpose/Change:	Оптимизирован алгоритм чтения ячеек. Удален лишний цикл и
	буферный счетчик.
	Version: 1.00
	Date: 05/04/2020
	Purpose/Change:	Первая версия

.Link
	http://forum.oszone.net/showpost.php?p=2915883&postcount=25
#>

param (
	#[parameter(Mandatory=$true)]
	[string]$infile= 'test1.html',
	[string]$outfile = 'table'
)

measure-command{

$html = new-object -com "HTMLFile"
$html.ihtmldocument2_write($(gc $infile -raw -enc utf8))
$tables = $html.getelementsbytagname("table")

# Исключение вложенных таблиц:
$tables|?{($_.getelementsbytagname('table')|%{$_}).count -eq 0}|%{$n=0}{
# Обработка всех элементов TABLE, включая вложенные (вероятна ошибка структуры таблицы). 
# Необходимо закомментировать строку кода выше и раскомментировать эту:
#$tables|%{$n=0}{
	$headers = @();$n++
	$tr = $_|%{$_.getelementsbytagname("tr")}
	if($headers = $tr|?{$_.firstchild().tagname -eq 'th'}|
	%{$_.getelementsbytagname("th")}|select -exp innertext){
		$headers = $headers.trim()
 	} else {
		$headers = 1..([linq.parallelenumerable]::max(
			[linq.parallelenumerable]::asparallel($tr.lastchild().cellindex)
		)+1)|%{"H$_"}
	}
	$rowind = ,1 * $headers.count
	$tr.where({$_.firstchild().tagname -eq 'td'})|%{
		$row = $_.getelementsbytagname("td") | select innertext,rowspan,colspan
		try {
			$str = [ordered]@{}
			$k=0
			foreach ($item in $row){
				if ($rowind[$k] -gt 1){
					while ($rowind[$k] -gt 1){
						$str[$headers[$k]] = $null
						$rowind[$k] -= 1
						$k++
					}
				}
				if (($colspan = $item.colspan) -gt 1) {
					$str[$headers[$k]] = if($item.innertext){
						$item.innertext.trim()
					} else {$null}
					if ($item.rowspan -gt 1){$rowind[$k] = $item.rowspan}
					$k++
					while ($colspan -gt 1){
						$str[$headers[$k]] = $null
						$colspan -=1
						if ($rowind[$k] -gt 1){$rowind[$k]-=1}
						$k++
					}
				} else {
					$str[$headers[$k]] = if($item.innertext){
						$item.innertext.trim()
					} else {$null}
					if ($item.rowspan -gt 1){$rowind[$k] = $item.rowspan}
					$k++
				}
			}
			[pscustomobject]$str
		} catch {
			write-host Разметка заголовков не соответствует размерам строк -for red
			write-host $_ -for cyan
		}
	} |export-csv $($outfile+"_"+$n+'.csv') -notype -enc utf8 -d ';'
}

} #|out-file time.txt -enc utf8

1. Оптимизировать алгоритм чтения ячеек не удалось, но кое-что оптимизировано.
2. Объемные таблицы, всё также обрабатываются не быстро.
3. Парсит все имеющиеся таблицы в dom-структуре.
Вдруг кому-то ещё пригодится...

[v79italya]

Парсеры всякой неудобоваримой шляпы »

Там этот парень еще тему открыл. Теперь парсит xmlhttps://www.planetaexcel.ru/forum/in...52525253BFID=1

[Sham]

Сколько времени уходит на обработку файла? »

Мой jscript на регулярках за 24 секунды тот файл (14M). Зависит от процессора. Можно, конечно, и через com htmlfile, но это ж все 14М в DOM парсятся - сколько это по памяти будет?

[v79italya]

jscript на регулярках за 24 секунды тот файл (14M). Зависит от процессора. Можно, конечно, и через com htmlfile, но это ж все 14М в DOM парсятся - сколько это по памяти будет? »

Не знаю сколько это по памяти)
У меня на нетбуке за 50 сек обработал. По моему, результат достаточно хороший.
Спасибо

[YuS_2]

Скрипт теперь "умеет" учитывать и rowspan-ы, и colspan-ы, плюс немного описания »

Ещё вариант скрипта для парсинга html
http://forum.oszone.net/post-2919294.html#post2919294
- работает быстрее, т.к. принцип работы основан на внешнем модуле, по типу парсинга XML.
- парсер не зависит от встроенного парсера html в powershell, который зависит от Internet Explorer
- будет работать в Powershell Core

[v79italya]

работает быстрее »

очень хорошо. Спасибо