HTML parser

[SliderVM]

Вот код который у меня есть, но проблемма в том, что я не получаю целевую страницу... В чем моя ошибка подскажите :(


function get_content($host, $get="/") {
$filePointer = fsockopen($host, 80, $errorNumber, $errorString);
if (!$filePointer)
{
exit('Failed opening http socket connection: '.$errorString.' ('.$errorNumber.')<br/>\n');
}

$requestHeader = "GET " . $get . " HTTP/1.1\r\n";
$requestHeader.= "Host: ".$host."\r\n";
$requestHeader.= "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3\r\n";
$requestHeader.= "Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2\r\n";
$requestHeader.= "Accept-Language: ru,en;q=0.5\r\n";
$requestHeader.= "Accept-Charset: windows-1251;q=0.7,*;q=0.7\r\n";
$requestHeader.= "Content-Type: application/x-www-form-urlencoded\r\n";
$requestHeader.= "Connection: close\r\n";
$requestHeader.= "Referer: \r\n\r\n";

fwrite($filePointer, $requestHeader);

$responseHeader = '';
$responseContent = '';

do {
$responseHeader.= fread($filePointer, 1);
}
while ( !preg_match('/\\r\\n\\r\\n$/', $responseHeader) );

if (!strstr($responseHeader, "Transfer-Encoding: chunked")) {
while (!feof($filePointer)) {
$responseContent.= fgets($filePointer, 128);
}
}
else {
while ($chunk_length = hexdec(fgets($filePointer))) {
$responseContentChunk = '';
$read_length = 0;
while ($read_length < $chunk_length) {
$responseContentChunk .= fread($filePointer, $chunk_length - $read_length);
$read_length = strlen($responseContentChunk);
}

$responseContent.= $responseContentChunk;
fgets($filePointer);
}

}
return $responseContent;
}

echo get_content("ufacars.myminicity.com");

[Sham]

SliderVM, есть же теги

while ( !preg_match('/\\r\\n\\r\\n$/', $responseHeader) );
А зачем экраны дублированы?

[bruder]

все дело в бесконечном цикле

while ($read_length < $chunk_length) {
$responseContentChunk .= fread($filePointer, $chunk_length - $read_length);
$read_length = strlen($responseContentChunk);
}

там $read_length всегда 0. А я с soketами совсем незнаком. Неужели чтобы получить контент страницы надо так сложно? Прошу профи объяснить на пальцах этот метод, очень интересно

[rus-4-ever]

Может так лучше??? по крайней мере работает!!!

Тут файл записыватся в массив построчно


if (!($arr=file("http://yandex.ru","r"))) {die("извините, сервис временно недоступен");}

$j=0;

do
{
//Код...

$j++;
}
while ($j<count($arr));

[SliderVM]

yandex.ru и у меня получается скопировать... А вот к примеру "ufacars.myminicity.com" так не работает :( Цель у меня распарсить именно "ufacars.myminicity.com".

[Busla]

заголовок темы поменяй на более соответствующий содержанию - может больше толковых советов напишут ;)

[SliderVM]

Название темы правильное:) "ufacars.myminicity.com" это только один из многих сайтов!

[Busla]

приведённый код парсит http, а html он извлекает (иногда ;) )

[SliderVM]

Ну а как сделать что бы извлечь код HTML?

[Sham]

SliderVM, обрати внимание на мой пост и посуди - цикл заканчивается, когда получены все заголовки, т.о. контент не включается... (при условии, что регулярка корректно работает, в чем я не уверен)....

[SliderVM]

SliderVM, обрати внимание на мой пост и посуди - цикл заканчивается, когда получены все заголовки, т.о. контент не включается... (при условии, что регулярка корректно работает, в чем я не уверен).... »


Контент выдается вот эта надпись "Please wait a few moments..." но почему ОНА???

[Sham]

$requestHeader.= "Content-Type: application/x-www-form-urlencoded\r\n";
А зачем этот заголовок отсылается? afaik он только для POST-данных....

[SliderVM]

А зачем этот заголовок отсылается? afaik он только для POST-данных.... »

Я же говорю скрипт не я писал, многое в нем не понимаю :(

Поэтому и обратился сюда!

[Sham]

"Please wait a few moments..." »
это ж надо тот скрипт смотреть, чего он выдает....

а упомянутый мной хедер таки лучше убрать (строку закомментировать)...

[SliderVM]

это ж надо тот скрипт смотреть, чего он выдает.... »

Если Регетом качать то сохраняется то что надо, а скриптом не как :(