[решено] Вытащить описание с Youtube - Компьютерный форум OSzone.net

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)

- Скриптовые языки администрирования Windows (http://forum.oszone.net/forumdisplay.php?f=102)

- - [решено] Вытащить описание с Youtube (http://forum.oszone.net/showthread.php?t=346030)

Вытащить описание с Youtube

Привет!
Собственно, сабж. Есть ролик, под ним описание. Как Invoke-WebRequest или PowerHTML может вытащить этот текст с сайта?

И главный вопрос - как можно научиться, в каком направлении искать? Тот же Invoke-WebRequest выдаёт 100500 методов:

Код:

$url = Invoke-WebRequest https://www.youtube.com/watch?v=HZTStHzWRxM

$url.parsedhtml

Положим, я в Файрфоксе нашёл нужный кусок:

Код:

<div id="description" slot="content" class="style-scope ytd-video-secondary-info-renderer"><yt-formatted-string class="content style-scope ytd-video-secondary-info-renderer" force-default-style="" split-lines=""><span dir="auto" class="style-scope yt-formatted-string">Don't know what its actual name is, so I just threw every word into this video's title and hoped that something stuck.

</span><a class="yt-simple-endpoint style-scope yt-formatted-string" spellcheck="false" href="/watch?v=HZTStHzWRxM&amp;t=0s" dir="auto">0:00</a><span dir="auto" class="style-scope yt-formatted-string"> - The new feature

</span><a class="yt-simple-endpoint style-scope yt-formatted-string" spellcheck="false" href="/watch?v=HZTStHzWRxM&amp;t=17s" dir="auto">0:17</a><span dir="auto" class="style-scope yt-formatted-string"> - Slow roll-out

</span><a class="yt-simple-endpoint style-scope yt-formatted-string" spellcheck="false" href="/watch?v=HZTStHzWRxM&amp;t=76s" dir="auto">1:16</a><span dir="auto" class="style-scope yt-formatted-string"> - How it works

</span><a class="yt-simple-endpoint style-scope yt-formatted-string" spellcheck="false" href="/watch?v=HZTStHzWRxM&amp;t=124s" dir="auto">2:04</a><span dir="auto" class="style-scope yt-formatted-string"> - Problems / suggestions for the future</span></yt-formatted-string></div>

Но как до этого добраться в Powershell?

Цитата:

Цитата DJ Mogarych

как до этого добраться в Powershell »

от языка тут мало что зависит, пути везде одинаковые: DOM, xPath, XSLT

Цитата:

Цитата DJ Mogarych

Вытащить описание с Youtube»

Код:

param(

    $URL = 'https://www.youtube.com/watch?v=HZTStHzWRxM'

)cls



$URLcontent  = (Iwr $URL -useb).content

$Description = ($URLcontent|sls '(?<="description":\{"simpleText":").*?(?="\},"lengthSeconds)').Matches.Value -split "\\n"



$Description

Адова регулярка. А поизящнее никак? Ведь Invoke-WebRequest уже парсит страницу. Что-то типа

Код:

$url.parsedhtml.getElementsByName("description")

Не совсем то, но направление какое-то такое.

Такое "направление" называется Document Object Model - DOM.

1. у них есть API по ключу, откуда можно взять JSON или XML.
2. DOM динамический, такого span в сыром ответе нету.
3. Есть вариант вытащить JSON и взять оттуда.

Код:

if ((Invoke-WebRequest 'https://www.youtube.com/watch?v=HZTStHzWRxM'

        ).Content -match 'ytplayer\.config = ({.+?});') {

        (($matches[1] | ConvertFrom-Json).args.player_response |

                ConvertFrom-Json).videoDetails.shortDescription

}

p.s. так тоже работает, но это вроде бы неофициальный API

Код:

$youtube_video_id = 'HZTStHzWRxM'

$query_string = Invoke-WebRequest "https://www.youtube.com/get_video_info?video_id=${youtube_video_id}"

Add-Type -AssemblyName 'System.Web'

([System.Web.HttpUtility]::ParseQueryString($query_string).Get('player_response') | ConvertFrom-Json).videoDetails.shortDescription

Цитата:

Цитата DJ Mogarych

А поизящнее никак? »

Таким кодом выходит поизящней, но текст описания неполный. Может какой-то параметр нужно добавить ?

Код:

$url = Invoke-WebRequest https://www.youtube.com/watch?v=HZTStHzWRxM

$url.parsedhtml.getElementsByName("description") | ForEach {$_.content}

Цитата:

Цитата DJ Mogarych

Не совсем то, но направление какое-то такое. »

Проблема в том, что там нет сформированной страницы с законченной dom-структурой, там скрипты, которые создают страницу в браузере... так что, регулярку в руки и ура или предложенный выше API для парсинга...
Можно, конечно, попытаться даже парсить скрипты, но там есть только это (что можно распарсить с xpath, через PowerHTML):

Код:

<meta name="description" content="Don't know what its actual name is, so I just threw every word into this video's title and hoped that something stuck. 0:00 - The new feature 0:17 - Slow rol...">

Код:

$url = Invoke-WebRequest https://www.youtube.com/watch?v=HZTStHzWRxM

$content = $url.content

$html = $content|convertfrom-html

$a =($html.selectnodes('//meta[@name="description"]').attributes|? name -eq 'content').value

[net.webutility]::htmldecode($a)

т.е. можно выдернуть значение атрибута content, но подозреваю, что это не то, что требовалось...

Я не настоящий сварщик но я бы скачал бы при помощи youtube-dl json с описанием. А потом из json получил бы что нужно. Ютуб время от времени меняет дизайн страниц и если юзать youtube-dl то не придётся вручную переписывать код. Достаточно обновить youtube-dl.

Пишу по памяти:

Код:

set _url=https://www.youtube.com/watch?v=GfO-3Oir-qM&hd=1

youtube-dl %_url% --write-info-json --skip-download

Да, после ydl надо так:

Код:

(gc 'C:\temp\file.info.json' |ConvertFrom-Json).description

Спасибо!

Цитата:

Цитата DJ Mogarych

Да, после ydl надо так »

DJ Mogarych, а у Вас полное описание парсится с json ?
у меня получается текст описания неполный, как и по коду из этого поста - »

Цитата:

Цитата DJ Mogarych

Да, после ydl надо так »

Я кстати вспомнил что описание в txt можно сохранить ключом

Код:

--write-description #Write video description to a .description file

Внутри будет чистый текст.

Цитата:

Цитата Uragan66

у Вас полное описание парсится с json ? »

Да, полное.

Цитата:

Цитата ateka

--write-description #Write video description to a .description file »

Супер!