|
|
|
|
| Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Программирование и базы данных » Разное - Парсер ютуба сработал, но ничего не записалось в файл: data.txt |
|
|
Разное - Парсер ютуба сработал, но ничего не записалось в файл: data.txt
|
|
Новый участник Сообщения: 6 |
Парсер ютуба сработал, но ничего не записалось в файл: data.txt
Не знаю как поставить селекоры --- изменился код страницы youtube Это сам скрипт: Код:
 # coding: utf8
# == pars_playlist.py
# == select short information from Yotube playlist --
from urllib import urlopen
from BeautifulSoup import BeautifulSoup
print "pars_playlist working..."
# == get first linkof playlist ==
url = raw_input('input link:')
url = "https://www.youtube.com/playlist?list=PLku9se_HAVOrs3p_jJzZAbV3BEODrhS3j"
fh = open('data.txt', 'w')
cur_num = 1 # index of reading page
try:
while True:
# -- get curent page --
print cur_num
print url
content = urlopen( url )
page = content.read()
# -- cut head
soup = BeautifulSoup(page)
body = soup.find('body')
# get current title
span = body.find(id="video-title")
title = span.getText()
print title
# get list of all links
ol = body.find(id="items")
lis = ol.findAll('li')
# soup for current page
for idx, li in enumerate(lis): # seek for picture
li_title = li["data-video-title"]
if li_title == title: break
video_id = li["data-video-id"]
# get picture information
img = li.find('img')
img_src = img['src']
pos = img_src.find('?')
if pos > 0: img_src = img_src[:pos]
# get description of page
descr = body.find(id="eow-description")
descr_text = descr.getText()
# save information
fh.write(title.encode('utf8') + '\n')
fh.write(video_id.encode('utf8') + '\n')
fh.write(img_src.encode('utf8') + '\n')
fh.write(descr_text.encode('utf8') + '\n')
fh.write('\n')
if idx >=len(lis) -1: break
# get next url
idx += 1
li = lis[ idx ]
anc = li.find('a')
href = anc['href']
url = "https://www.youtube.com" + href
cur_num = cur_num + 1
# == 05 end of work ==
except:
print "exception: " + str(cur_num)
pass
finally:
fh.close()
print "ok"
|
|
|
Отправлено: 08:51, 29-03-2019 |
|
Ветеран Сообщения: 27449
|
Профиль | Отправить PM | Цитировать Цитата fansat:
|
|
|
Отправлено: 16:33, 29-03-2019 | #2 |
|
Новый участник Сообщения: 6
|
Профиль | Отправить PM | Цитировать Спасибо Iska.
---------------- Открываете Инспектор DOM В Google Chrome такого нет. Подскажите. |
|
Последний раз редактировалось fansat, 29-03-2019 в 17:00. Отправлено: 16:47, 29-03-2019 | #3 |
Ветеран Сообщения: 3247
|
Профиль | Отправить PM | Цитировать Цитата fansat:
|
|
|
Отправлено: 18:09, 29-03-2019 | #4 |
|
Новый участник Сообщения: 6
|
Профиль | Отправить PM | Цитировать Спасибо.
Я его использовал - правая кн. Код элемента |
|
|
Отправлено: 18:51, 29-03-2019 | #5 |
|
Участник сейчас на форуме |
 |
Участник вне форума |
 |
Автор темы |
 |
Сообщение прикреплено |
| |||||
| Название темы | Автор | Информация о форуме | Ответов | Последнее сообщение | |
| кулеры крутит но на экране ничего не появляется | andrey-58rus | Непонятные проблемы с Железом | 2 | 17-06-2015 06:09 | |
| CMD/BAT - [решено] парсер для txt | retabo | Скриптовые языки администрирования Windows | 12 | 01-04-2012 21:27 | |
| CMD/BAT - [решено] Парсер строк TXT файла | Flayer | Скриптовые языки администрирования Windows | 9 | 15-10-2011 09:44 | |
| Лечили от вирусов, антивирус не обнаружил ничего. но в интернет не выйти | Микроскоп | Лечение систем от вредоносных программ | 6 | 02-03-2011 00:28 | |
|
|
Время: 18:02. | © OSzone.net 2001-
|
|
Powered by: vBulletin Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. |
