Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Скриптовые языки администрирования Windows (http://forum.oszone.net/forumdisplay.php?f=102)
-   -   curl, запись ссылки в файл? (http://forum.oszone.net/showthread.php?t=326552)

Freddy1984 06-05-2017 16:50 2734603
curl, запись ссылки в файл?
 
Приветствую всех!
Имеется команда на закачку файла с помощью консольного CURL.EXE
Пример:
Вопрос. Какую команду дописать, что бы сама ссылка http://ip-адрес/file168.rar в случае доступности файла, записывалась в файл file.txt??

Для чего? У меня таких ссылок на разные файлы с разными адресами в пакетнике под две сотни. Я хочу что бы после запуска и прогона пакетником, мне в текстовый файл потом кидался список ссылок доступных файлов. Причём с адресом полностью (например: http://ip-адрес/file168.rar)
С помощью самого curl.exe пытался это сделать, не получилось. Параметр -О кидает только окончание ссылки, без адреса.
Далее >>file.txt записывает содержимое закачиваемого файла в file.txt а не саму ссылку в файл file.txt

Подскажите пожалуйста что надо дописать для записи в файл самой рабочей ссылки??
Спасибо.

Iska 07-05-2017 00:03 2734692
Freddy1984, Вы используете не тот подход. Ваш пакетный файл не должен содержать кучу однотипных команд указанного вида. У Вас должен быть текстовый файл, содержащий ссылки, и пакетный файл, принимающий имя текстового файла в качестве параметра, разбирающий его по for /f и передающий полученный разбор в curl.exe.

Но, во-первых, опишите Вашу глобальную цель — что Вам нужно. Если загрузить указанные файлы — так в коде нет сохранения загруженного в файлы. Если проверить доступность ссылок — на кой нужно, собственно, загружать файлы?

Freddy1984 07-05-2017 08:34 2734746
Цитата:
Цитата Iska
Если проверить доступность ссылок — на кой нужно, собственно, загружать файлы? »
да! совершенно верно. проверить доступность ссылок, и если доступность имеется, то записать полный путь в отдельный файл. И так по всем ссылкам которых на данный момент будет под две сотни. Если на каком то адресе доступность не имеется, то ссылку не записывать в файл.
Да, если конечно имеется некая другая возможность это реализовать, я бы с удовольствием принял бы это во внимание.
Цитата:
Цитата Iska
У Вас должен быть текстовый файл, содержащий ссылки, и пакетный файл, принимающий имя текстового файла в качестве параметра, разбирающий его по for /f и передающий полученный разбор в curl.exe »
Ок, подскажите плиз как это наглядно сделать если через curl или без curl каким другим способом может?? :)
Второе. По поводу "на кой нужно, собственно, загружать файлы?"
так а как по другому? другого варианта я пока не вижу. Я поставил прерыватель на curl -m 4 и дописал -O в итоге если доступ к файлу есть, и он загружается (на это даётся 4 сек.), то хвост ссылки записывается в файл в виде названия (это на четверть то что мне и нужно). Но это не то что бы полумера, это вообще чёрт пойми что....))

Iska 07-05-2017 11:23 2734771
Например, так:
curl.exe
Код:
@echo off
setlocal enableextensions enabledelayedexpansion

set sSourceFile=%~1

if defined sSourceFile (
        if exist "%sSourceFile%" (
                >"UrlsExists.txt" (
                        for /f "usebackq delims=" %%i in ("%sSourceFile%") do (
                                >nul 2>&1 "C:\Program Files (x86)\curl\curl.exe" --output nul --silent --head --fail --url "%%~i" && echo %%~i
                        )
                )
        ) else (
                echo Can't find source file [%sSourceFile%].
                exit /b 2
        )
) else (
        echo Usage: %~nx0 ^<Source file^>
        exit /b 1
)

endlocal
exit /b 0
Путь к исходному файлу указывается аргументом пакетного файла.

wget.exe
Код:
@echo off
setlocal enableextensions enabledelayedexpansion

set sSourceFile=%~1

if defined sSourceFile (
        if exist "%sSourceFile%" (
                >"UrlsExists.txt" (
                        for /f "usebackq delims=" %%i in ("%sSourceFile%") do (
                                >nul 2>&1 "C:\Program Files (x86)\GnuWin32\bin\wget.exe" --spider --no-dns-cache --no-cache --quiet "%%~i" && echo %%~i
                        )
                )
        ) else (
                echo Can't find source file [%sSourceFile%].
                exit /b 2
        )
) else (
        echo Usage: %~nx0 ^<Source file^>
        exit /b 1
)

endlocal
exit /b 0
Путь к исходному файлу указывается аргументом пакетного файла.

PowerShell
Проверялось на версии 5.0:
Код:
$sSourseFileList = 'C:\Мои проекты\0070\Urls.txt'
$sDestFileList  = 'C:\Мои проекты\0070\UrlsExists.txt'


if(Test-Path -Path $sSourseFileList -PathType Leaf) {
    $aContent = Get-Content -Path $sSourseFileList
   
    if(Test-Path -Path $sDestFileList -PathType Leaf) {
        Remove-Item -Path $sDestFileList -Force
    }

    foreach($sUrl in $aContent) {
        Write-Host "Checking [$sUrl]…`t" -NoNewline -ForegroundColor DarkGreen

        try {
            $oHtmlWebResponseObject = Invoke-WebRequest -Uri $sUrl -Method Head -UseBasicParsing -ErrorAction Stop
        } catch {
            Write-Host "Failure" -ForegroundColor Red
            $oHttpStatusCode = $_.Exception.Response.StatusCode
            Write-Host "Can't load [$sUrl] ($($oHttpStatusCode.value__): $oHttpStatusCode)"
            continue
        }

        Write-Host "OK" -ForegroundColor Green
        Add-Content -Path $sDestFileList -Value $sUrl
    }
} else {
    Write-Host "Can't find source file $sSourseFileList." -ForegroundColor Red
}

Freddy1984 07-05-2017 11:43 2734773
ух ты.... ну вы Iska монстр. в хорошем смысле этого слова))))

Цитата:
Цитата Iska
Путь к исходному файлу указывается аргументом пакетного файла. »
то есть тут? set sSourceFile=%~1
а если список лежит рядом с пакетником, то как правильно подправить агрумент?

и если wget.exe или curl.exe лежит рядом с пакетником, то вместо C:\Program Files (x86)\curl\curl.exe написать просто curl.exe я так понимаю? :)

Freddy1984 07-05-2017 12:20 2734778
Iska, я попробовал так как вы показали по curl.
set sSourceFile=Url.txt -- я так указал на исходный файл с сылками.
В итоге создался UrlsExists.txt и там список всех ссылок. и рабочих и не рабочих.... Что то надо подправить, но пока не могу понять что..((

такое ощущение что работа curl.exe из вашего скрипта как то обходится стороной... не могу понять почему. То есть что он указан в скрипте, что я его от туда убрал, одинаково. В UrlsExists.txt создаются просто ссылки на все файлы из Url.txt

вот что получается при отработке скрипта:

Iska 07-05-2017 18:05 2734857
Цитата:
Цитата Freddy1984
то есть тут? set sSourceFile=%~1 »
То есть, тут:
Скрытый текст

Так вообще-то подразумевалось :).

Но если есть большое и неправильное желание указывать путь напрямую в пакетном файле, то — да, здесь:
Код:
set sSourceFile=Путь\Имя_исходного_файла
Цитата:
Цитата Freddy1984
а если список лежит рядом с пакетником, то как правильно подправить агрумент? »
Код:
set sSourceFile=%~dp0Имя_исходного_файла
Цитата:
Цитата Freddy1984
и если wget.exe или curl.exe лежит рядом с пакетником, то вместо C:\Program Files (x86)\curl\curl.exe написать просто curl.exe я так понимаю? »
Неправильно понимаете. Опять нужно использовать исключительно тот же путь «%~dp0»:
Код:
                                >nul 2>&1 "%~dp0curl.exe" --output nul --silent --head --fail --url "%%~i" && echo %%~i
Упакуйте Ваши файлы — исходный и получившийся — в архив, и прикрепите его к сообщению, либо выложите на RGhost или Яндекс.Диск.

Freddy1984 08-05-2017 11:34 2735009
Iska я бы хотел вам кое о чём написать в РМ, но у меня выскакивает сообщение при написании вам сообщения:
Iska превысил(а) максимальный объем сохраненных персональных сообщений и не может получать новые сообщения, пока не удалит часть старых.

Можно попросить Вас немного почистить ваш РМ? :)

Iska 08-05-2017 11:37 2735010
Freddy1984, пишите прямо здесь, если по этой теме. Если по другой — заведите новую в соответствующем разделе.

Freddy1984 08-05-2017 11:46 2735012
Я хочу среди прочего ссылки лично вам скинуть, не для всеобщего обозрения. Это можно как то сделать?

Iska 08-05-2017 12:36 2735047
Цитата:
Цитата Freddy1984
Это можно как то сделать? »
Нажимаете на ссылку Профиль над сообщением, ищете там Отправить сообщение по E-mail.


Время: 03:24.

Время: 03:24.
© OSzone.net 2001-