用selenium+谷歌浏览器爬取美拍视频真实链接

niebaohua

准备工具:
   selenium模块(pip install selenium)
   谷歌浏览器
   chromedriver.exe(版本要和你的谷歌版本一致或者高于)


由于本人刚学python 不久，并不会什么解密的模块 只能这样慢慢
地模拟浏览器爬了  美拍的视频都加密了，只有当你点击播放的时
侯  视频的真实链接才会暴露出来，所以我就用了这个方法一个一个
爬咯。


有什么补充的你们可以补充一下，我也不太会这些模块

[Python] 纯文本查看 复制代码

from selenium import webdriver
import time
driver = webdriver.Chrome() #实例化对象

driver.get("https://www.meipai.com/user/32821588")#用户的页面
while 1:
    time.sleep(1)
    video_href = driver.find_elements_by_xpath("//div[@class='feed-video pr cp']")
    video_title = driver.find_elements_by_xpath("//li[@class='feed-item pr']")
    #爬取第一个视频
    first_video = driver.find_element_by_xpath(".//div[@class='mp-h5-player-layer-video']/video").get_attribute("src")
    first_title = video_title[0].find_element_by_xpath(".//h1").text
    print(first_title,first_video)
    for i in range(1,len(video_href)):#从每一页的第二个视频开始
        play = video_href[i].find_element_by_xpath(".//span[@class='pa detail-play']")
        play.click()#点击播放按钮  让视频真实链接显示出来
        src = video_href[i].find_element_by_xpath(".//div[@class='mp-h5-player-layer-video']/video").get_attribute("src")
        title = video_title[i].find_element_by_xpath(".//h1").text
        print(title,src)
        time.sleep(1)# 增加一秒的延迟
    #获取下一页
    next_page = driver.find_element_by_xpath("//a[@class='paging-next dbl']")
    if next_page == '':
        break
    next_page.click()#点击下一页

driver.quit()#关闭浏览器

代码可能不规范   见谅...


附上爬的陈翔六点半的视频真实链接

niebaohua

免费评分有没有

niebaohua

lmmmr9 发表于 2019-2-18 11:08
写个协程慢慢爬嘛，这个单线程太慢了吧

之前刚学 会的不多  现在可以直接爬它的链接 然后解密 （看的网上的思路）用多线程直接下载，多线程还是不太懂  好像有好几种

niebaohua

爱生活爱VIVI 发表于 2018-11-26 21:54
千图 包图这样的可以吗

可以用更简单的方法，只不过应该爬不到原图

爱吃鸡魔人

你做一个selenium登陆淘宝的我给你评分

niebaohua

爱吃鸡魔人 发表于 2018-11-26 22:56
你做一个selenium登陆淘宝的我给你评分

我菜鸡一个现在， 以后会有可能

吾爱好地方

很有用，谢谢楼主！

aopao

爱生活爱VIVI 发表于 2018-11-26 22:18
嗯 要是有他们站的会员的话能爬吗

可以爬取，就是怕他们监控，你下载太多会被封的。。。

yc19951005

mark一下 等有时间再看看