Парсинг HTML из URL

[Darkar25]

хочу получить HTML код страницы по URL после того как она загрузилась(прошли все php скрипты и всё такое) в файл...не важно стандартными средствами CMD или доп по...главное чтобы по не занимало сотни файлов...1 или 3 нормально будет...но думаю такое врядли существует чтоб прям одним файлом...по крайней мере я такого не нашел...

[Iska]

по URL »
Например?

прошли все php скрипты »
С каких пор php скрипты начали выполняться на клиенте?

И определитесь:
Парсинг HTML »
или просто:
получить HTML код страницы »

[Darkar25]

Например? »
например https://github.com/npocmaka/batch.scripts/blob/master/hybrids/.net/WebClientDownload.bat
тут батник для скачивания HTML кода страницы но в моём случае он не работает...
С каких пор php скрипты начали выполняться на клиенте? »
а где я сказал что они на клиенте выполняются?
И определитесь: »или просто: »
разве это не одно и то-же?

[Iska]

например https://github.com/npocmaka/batch.sc...ntDownload.bat »
Я имел в виду адрес страницы, которую нужно — что — загрузить/парсить.

тут батник для скачивания HTML кода страницы но в моём случае он не работает... »
От пакетного файла там только огрызок. В реальности там банальный JScript .NET. С большим успехом можно использовать PowerShell, базирующийся на том же .Net Framework.

а где я сказал что они на клиенте выполняются? »
Ну, Вы это так специально оговорили, как будто бы от клиента зависит, будут ли они выполняться, али нет.

разве это не одно и то-же? »
Нет, не одно и то же.


В Вашем случае для загрузки страницы следует использовать либо wget.exe, либо curl.exe, либо PowerShell.

[Darkar25]

Я имел в виду адрес страницы, которую нужно — что — загрузить/парсить. »
вообще парсить хочу свой личный сайт...на нём происходит сверка вводимых данных и данных на сервере...потом если все норм то на страницу выводит Correct,..иначе Wrong...вот пример...
onedev.tk/check.php?key=file&param1=1&param2=2
Ну, Вы это так специально оговорили, как будто бы от клиента зависит, будут ли они выполняться, али нет. »
нуу...)))
В Вашем случае для загрузки страницы следует использовать либо wget.exe, либо curl.exe»
я там посмотрел wget и curl для видны...там столько файлов шо капец...ну а мне нужно чтобы это не занимало слишком много места и файлов...
либо PowerShell. »
а как это можно сделать через шелл?

[Iska]

я там посмотрел wget и curl для видны...там столько файлов шо капец.. »
Сколько? Для wget я насчитал пять:
libintl3.dll
libiconv2.dll
libeay32.dll
libssl32.dll
wget.exe
общим объёмом в три мегабайта.

а как это можно сделать через шелл? »
Invoke-WebRequest (https://docs.microsoft.com/en-us/powershell/module/microsoft.powershell.utility/invoke-webrequest?view=powershell-6)

[x0r]

Да они обадва (и wget и curl )всего-то, по ~4MB весят. Просто для виндоюзерофф понятие "зависимости" в описании, вганяет в ступор мгновенно http://www.kolobok.us/smiles/icq/biggrin.gif Хотя все библы описаны в редмну, а так же легчайше ищуццо чеерз F3 в TC .
Darkar25, думаю, тебе нужен именно curl.

а еще , есть такая прога Aria2 (https://aria2.github.io/). но лучше curl

[Iska]

Просто для виндоюзерофф понятие "зависимости" в описании, вганяет в ступор мгновенно »
Меня не вгоняет :).

а так же легчайше ищуццо чеерз F3 в TC . »
Dependency Walker.

[greg zakharov]

curl, начиная с апрельского обновления Win10 является штатной утилитой, так что всем обладателям данной системы не нужно заморачиваться. А вообще, статически слинкованные wget и curl не нуждаются в сторонних файлах, - это к слову.
Помимо прочего есть Cygwin (чтобы не заморачиваться с зависимостями).

[x0r]

Iska, меня тоже нет. Долго пытался стать красноглазиком. честно пытался, не сложилось. Как та пчела из "басни о пчёлах" Мандевилля xD - сознательно выбрал "винду", отвергнув канонiчный Линух(кой-чего почерпнув оттудава. Конечно консоль, тулзы всякие ).

татически слинкованные wget и curl не нуждаются в сторонних файлах, - это к слову. »
ну раз к слову... то скажу, что по личному опыту, эту хрень не надо юзать. Я дважды качал статически слинкованную версию wget (та что одним файлом) и оба раза оно глючило. По параметрам вылетало, а параметров не так уж и много, всего десяток примерно - и wget вылетал. Curl не пробовал даже, нафиг. ~14MB в одной папке держу, все библы для wget + curl + grep + скрипты = можно качать почти отовсюду, почти что угодно(это то, что с бравзером переносным таскаю).


cygffi-6.dll
cyggcc_s-1.dll
cyggcrypt-11.dll
cyggmp-10.dll
cyggnutls-26.dll
cyggnutls-28.dll
cyggnutlsxx-28.dll
cyggpg-error-0.dll
cyghogweed-2.dll
cygiconv-2.dll
cygidn-11.dll
cygintl-8.dll
cygnettle-4.dll
cygp11-kit-0.dll
cygpcre-1.dll
cygpsl-5.dll
cygtasn1-3.dll
cygtasn1-6.dll
cygunistring-2.dll
cyguuid-1.dll
cygwin1.dll
cygz.dll
aria2c.exe
curl.exe
grep.exe
wget.exe

[greg zakharov]

x0r, не знаю бредите ли вы или нет, но имелось в виду не всякое барахло, собранное абы-кабы абы кем-то, а собираемое самостоятельно из исходников. А то, о чем пишите вы, с различными закладками внутри (оно здравомыслящему человеку надо?)

[x0r]

greg zakharov, какие закладки??! бредишь кокраз ты. Суть в том, что переносимое должно быть переносимым, - статич. слинковынный wget вылетает часто-густо, даже на одной ОС, не говоря уже про др. ОС(windows) куда втыкал флешку. Версия с библами никогда не глючила и заводилась всегда.

Я давно уже понял, что понятие "здравомыслие", сильно разниццо в моём понимании и понимании всяких "икспердов и проКрамистов". Они может и пишут программы, "создают интерфейсы".... знают Цэ - но своими программами не пользуются, удобство использования им неведомо, т.к. больше трех программ и четырех вкладок в бравзере они не запускают.
Так же и с юзерами. Ни один юзер(ламеров и обезьян не берем) на Виндовс, не станет собирать программу из сорцов. это то, от чего убережен юзер Виндовс в отличие от Линуха. И это хорошо.

Ежли ты такой профи, то собери wget в одном файле и дай напощупать. А мы поглядим, попробуем, поганяем на разных ОС(у мя он, wget, прикручен к портабле-бравзеру и качает линки, файлы, видео и проч.). Никакой другой нужды, собирать программу статич. слинкованную нет, если только ты экономишь место на флешке\диске. Но сегодня уже и эта причина не особо актуальна, объёмы носителей позволяют таскать доп. 10МБ библиотек.

[mwz]

бредишь кокраз »

Пошто человека "кокразом" обозвали??

[greg zakharov]

Я давно уже понял, что понятие "здравомыслие", сильно разниццо в моём понимании и понимании всяких "икспердов и проКрамистов". Они может и пишут программы, "создают интерфейсы".... знают Цэ - но своими программами не пользуются, удобство использования им неведомо, т.к. больше трех программ и четырех вкладок в бравзере они не запускают.Еще ни разу статически слинкованный wget никуда не выпадал, единственная проблема с которой приходилось иметь дело непосредственно сама компиляция, которая не так уж проста в случае с MS. Но достаточно один раз пройтись напильником, написать командный сценарий для автоматизации процесса и сама сборка займет не так и много времени. То же в случае тестов. И curl. У последнего, правда в работе есть кое-какие галюны, но Даниел Штенберг и сотоварищи пусть и медленно, но все же исправляют их.
Ежли ты такой профи, то собери wget в одном файле и дай напощупать.Да, я профи. Желаете "пощупать" статически слинкованный wget без галюнов - 100$ и он ваш, а брать на "слабо", дескать, "за деньги и я могу" или просто брызгать слюной, может каждый. Почему же тогда предлагаю за деньги? Нужно же на что-то долечить ожог 20% тела. Надумаете, обращайтесь.