Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Программирование и базы данных » Разное - Парсер ютуба сработал, но ничего не записалось в файл: data.txt

Ответить
Настройки темы
Разное - Парсер ютуба сработал, но ничего не записалось в файл: data.txt

Новый участник


Сообщения: 3
Благодарности: 0

Профиль | Отправить PM | Цитировать


Парсер ютуба сработал, но ничего не записалось в файл: data.txt
Не знаю как поставить селекоры --- изменился код страницы youtube

Это сам скрипт:

Код: Выделить весь код
# coding: utf8
# == pars_playlist.py
# == select short information from Yotube playlist -- 
from urllib import urlopen
from BeautifulSoup import BeautifulSoup

print   "pars_playlist working..."

# == get first linkof playlist ==
url = raw_input('input link:')
url = "https://www.youtube.com/playlist?list=PLku9se_HAVOrs3p_jJzZAbV3BEODrhS3j"

fh = open('data.txt', 'w')

cur_num = 1		# index of reading page
try: 
		while True:
			# -- get curent page --
			print cur_num
			print url
			content = urlopen( url )
			page = content.read()	
				
			# -- cut head
			soup = BeautifulSoup(page)
			body = soup.find('body')

			# get current title
			span = body.find(id="video-title")
			title = span.getText()
			print title

			# get list of all links
			ol = body.find(id="items")
			lis = ol.findAll('li')

			# soup for current page
			for idx, li in enumerate(lis): # seek for picture
				li_title = li["data-video-title"] 
				if li_title  == title: break
			video_id = li["data-video-id"]

			# get picture information
			img = li.find('img')
			img_src = img['src']
			pos = img_src.find('?')
			if pos > 0: img_src = img_src[:pos]

			# get description of page
			descr = body.find(id="eow-description")
			descr_text = descr.getText()

			# save information
			fh.write(title.encode('utf8') + '\n')
			fh.write(video_id.encode('utf8') + '\n')
			fh.write(img_src.encode('utf8') + '\n')
			fh.write(descr_text.encode('utf8') + '\n')
			fh.write('\n')

			if idx >=len(lis) -1: break

			# get next url
			idx += 1
			li = lis[ idx ]
			anc = li.find('a')
			href = anc['href']
			url = "https://www.youtube.com" + href

			cur_num = cur_num + 1

	# == 05 end of work ==
except: 
	print "exception: " + str(cur_num)
	pass
finally:
	fh.close()
	print "ok"

Отправлено: 08:51, 29-03-2019

 

Ветеран


Contributor


Сообщения: 24401
Благодарности: 7086

Профиль | Отправить PM | Цитировать


Цитата fansat:
Не знаю как поставить селекоры --- изменился код страницы youtube »
Открываете Инспектор DOM в своём любимом браузере — и копаете, копаете, копаете. Или Вы предлагаете, чтобы это сделал кто-то за Вас, коллега?

Отправлено: 16:33, 29-03-2019 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Новый участник


Сообщения: 3
Благодарности: 0

Профиль | Отправить PM | Цитировать


Спасибо Iska.
----------------
Открываете Инспектор DOM
В Google Chrome такого нет.
Подскажите.

Последний раз редактировалось fansat, 29-03-2019 в 17:00.


Отправлено: 16:47, 29-03-2019 | #3


Аватара для shisik

Ветеран


Сообщения: 2796
Благодарности: 539

Профиль | Отправить PM | Цитировать


Изображения
Тип файла: png Screen Shot 2019-03-29 at 17.08.08.png
(266.0 Kb, 7 просмотров)

Цитата fansat:
В Google Chrome такого нет. »
Есть

-------
Registered Linux User #426083
Gentoo Linux amd64, Gnome 2.32.1, Compiz-Fusion


Отправлено: 18:09, 29-03-2019 | #4


Новый участник


Сообщения: 3
Благодарности: 0

Профиль | Отправить PM | Цитировать


Спасибо.
Я его использовал - правая кн. Код элемента

Отправлено: 18:51, 29-03-2019 | #5



Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Программирование и базы данных » Разное - Парсер ютуба сработал, но ничего не записалось в файл: data.txt

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
кулеры крутит но на экране ничего не появляется andrey-58rus Непонятные проблемы с Железом 2 17-06-2015 06:09
CMD/BAT - [решено] парсер для txt retabo Скриптовые языки администрирования Windows 12 01-04-2012 21:27
CMD/BAT - [решено] Парсер строк TXT файла Flayer Скриптовые языки администрирования Windows 9 15-10-2011 09:44
Лечили от вирусов, антивирус не обнаружил ничего. но в интернет не выйти Микроскоп Лечение систем от вредоносных программ 6 02-03-2011 00:28




 
Переход