Python爬取电影天堂最新电影的下载链接
上一篇帖子只能算是python爬去信息的一个小例子,如果不做数据分析的话,单纯的数据采集又有意义,而本篇所用的脚本则是爬去电影天堂最新的电影的下载地址,爬去之后将链接写入txt,如果想要下载可以直接复制到迅雷中,便可以下载电影,这个相对而言还有点实用价值
第一步,分析待爬去的url格式,以及网站的结构
- 我们再次点击下一页,观察第三页,由此我们推测起最新电影相关的页面是http://www.ygdy.net/html/gndy/dyzz/list_23_n.html,其中n代表是第几页。然后自己往后翻几页,验证一下这个猜测,最后可以确定我们的猜测。
- 按F12,打开监视器,点击Inspector,然后点击右侧的小箭头,可以看到a标签的href属性,就是一个相对链接,只要在前面添加上,相应的域名信息,就可以访问该页面了。
- 之后我们选择刚才分析的标签进入,然后观察url,确实如猜测的一样是:htt://www.ygdy8.net/html/gndy/dyzz/20170225/53307.html页面内容,浏览页面时,可以很容易的找到视频的下载地址。
- 下面我们理一下思路,首先是观察到电影页面列表,可以通过a标签的href属性找到电影页面的相对链接,在相对连接之前拼接上htt://www.ygdy8.net/ 之后,可以访问这个url的页面。这个页面中的td标签中的a标签的内容,便是我们要下载的链接。
第二步,编写代码
# coding=utf-8
#dytt.py
import sys
import urllib2
import os
import chardet
from bs4 import BeautifulSoup
import time
import MySQLdb
reload(sys)
sys.setdefaultencoding("utf-8")
#从html页面中获取视频下载地址
def get_download_url(broken_html):
soup=BeautifulSoup(broken_html,'html.parser')
fixed_html=soup.prettify()
td=soup.find('td',attrs={'style':'WORD-WRAP: break-word'})
url_a=td.find('a')
url_a=url_a.string
return url_a
#从html页面中获取电影标题
def get_title(broken_html):
soup=BeautifulSoup(broken_html,'html.parser')
fixed_html=soup.prettify()
title=soup.find('h1')
title=title.string
return title
#访问url,返回html页面
def url_open(url):
req=urllib2.Request(url)
req.add_header('User-Agent','Mozilla/5.0')
response=urllib2.urlopen(url)
html=response.read()
return html
#主要逻辑就是爬取列表页面,从列表页面中找到每个下载页的连接,拼接好之后再访问,获得标题和下载地址
def add_index_url(url,num,file_object):
for i in range(1,num):
new_url=url+str(i)+".html"
print("----------------------当前爬取第"+str(i)+"页---------------------")
html=url_open(new_url)
time.sleep(1)
soup=BeautifulSoup(html,'html.parser')
fixed_html=soup.prettify()
a_urls=soup.find_all('a',attrs={'class':'ulink'})
host="http://www.ygdy8.net"
for a_url in a_urls:
a_url=a_url.get('href')
a_url=host+a_url
print(a_url)
html=url_open(a_url)
#html=unicode(html,'GBK').encode("utf-8")
html=html.decode('GBK')
write_title=get_title(html)
write_url=get_download_url(html)
file_object.write(write_title+"\n")
file_object.write(write_url+"\n")
if __name__=='__main__':
url="http://www.ygdy8.net/html/gndy/dyzz/list_23_"
filename="down_load_url.txt"
num=int(raw_input("please input the page num you want to download:"))
num=num+1
if os.path.exists(filename):
file_object=open(filename,'w+')
else:
os.mknod(filename)
file_object=open(filename,'w+')
add_index_url(url,num,file_object)
print("----------------------爬取完成--------------------------")
file_object.close()
第三步,对于主要代码进行解释
- 首先还是将所需的库导入以及设置编码格式,具体代码如下:
- 定义get_download_url函数,该函数用来html页面中获取视频的下载地址,起具体代码如下:
- 定义get_title函数,该函数用来从html页面中获取电影的标题
- 定义url_open()函数,该函数访问传入的url,返回html页面
- 定义add_index_url函数,该函数是爬虫的主体部分,主要是首先爬去列表页面,拼接出具体页面url之后,再访问该URL获取下载地址。
- 爬虫的main函数,首先获取用户输入,得到最终需要爬取的页面数。然后判断待写入的文件是否存在,如果存在则直接打开,如果不存在则创建之后打开。然后执行爬取函数,最后关闭文件。
[md]### 第四步,效果展示
第五步,补充说明
- 我使用的是Kali系统,python是2.7版本,使用了beautifulsoup的库,如果使用windows跑的话,请手动安装相应的库。这类教程网上也有,自行查找吧。
- 对于爬虫有兴趣的小伙伴,可以私信交流,相互探讨。
- 写过这两个小爬虫之后,后面就要继续学习逆向汇编的知识了,后期也会坚持写总结文章的。
|