【抖音】【快手】【头条】无水印下载小视频的一点总结

杂毛小鸡 · 发表于 2019-5-14 21:28

本帖最后由杂毛小鸡于 2019-5-17 10:25 编辑

本人学生一个，最近一门课上要求进行网络测量和分析，我选择研究一下小视频软件的架构，以及如何无水印下载小视频。架构方面因为没找到很多资料，所以没啥特别的可说，但是如何下载无水印小视频倒是看了一些博文帖子，也成功过一些方法。因为当初找相关内容的时候，大佬们都说得很简略很轻松，但是菜鸡如自己想亲自上手搞出来就没那么容易了。所以我就想发表我这第一篇帖子，总结一下研究几个小视频的经验，欢迎指点和讨论。

工具：Fiddler 4；Wireshark（没怎么用到）；某安卓模拟器，以下讨论的都是安卓的情况。

抖音

首先说抖音如何无水印下载小视频。
1.
用Fiddler抓包的方法比较简单，在划到新一个视频的时候，程序会GET请求视频资源，服务器就把视频一整个地打在HTTP包里发过来了，访问这个GET请求的URL就能下载到视频了。

抖音抓包.png

论坛里就有个很详细的抓包抖音帖子，我也是照着那个帖子做的，可以搜索到。为了靠这个实现一个爬虫，那个楼主最终是用按键精灵自动划手机，Fiddler存下抓包的结果，然后再运行脚本批量下载视频的。

2.
在论坛里搜的话还能找到一个方法，就是根据抖音的分享链接得到无水印视频地址，有人说这个接口失效很久了，但是我试了一下，还能用。
这个方法具体就是从分享页面的HTML标签里拿到视频的URL，但是这个URL直接下载的话是有水印的。但是某些聪明有细心的大佬发现了接口名的端倪，把接口中的playwm改成play再访问就得到视频了。
如图。这应该是抖音自己留下的后门，被发现了。

Inked分享_LI.jpg

但是请注意！向修改后的URL发送GET请求时要伪造一下User-Agent也就是UA，就是在HTTP Header里加上User-Agent的属性，如果不加的话只能得到“视频已失效”。手机的UA怎么写可以去百度，各种型号的手机UA都有。

3.
抖音还有方法，就是论坛大佬们好像破解了内部的一些接口，可以获取用户信息、视频列表之类的信息，这样其实才是最优雅的获取信息的方式，抓包啊走后门啊都太粗暴太局限了。
当然我肯定是不懂怎么破解的，咱也不知道，咱也不敢问呐。如果有这方面经验的老哥可以发出来，让大家学习一下。

快手

快手看到的方法不是很多。

1.
用Fiddler抓包的话也是能抓到视频地址的，但是要注意，快手传送视频是走的TCP，所以打开视频时Fiddler是抓不到视频地址的。但是Wireshark看得我头大，所以我没从那些包里去找地址。
根据一位老哥的经验，快手的视频地址也是会在HTTP包里发到客户端的，但是不是在客户端点击打开视频时，而是在每次刷新或者加载新视频列表时，打包大概20个视频信息一起发过来。

就是图上最上面那个17K的包。里面的main_mv_urls就是视频地址。
这个也能用按键精灵什么的类似方式做个爬虫，但是好像有接口模拟客户端刷新视频这个操作，接口的加密参数好像没有影响，具体在哪看到的我也忘了。

今日头条

头条有文章、西瓜视频、小视频几个部分，这里主要研究小视频。

1.
还是Fiddler抓包，打开视频时可以抓到一个JSON包，里面有这个视频的信息。

头条抓包.png

7K那个。要注意的是包里的JSON格式不是很好，一个视频的所有属性都写在了一行里，其中虽然没有视频的直接链接，但是可以翻到video_id这个属性。
怎么用这个属性呢？网上有老哥破解了请求视频这个接口的参数，只是很简单的字符串加密，破解过程也很容易懂，需要的可以去百度找那篇博文。破解了接口参数之后，就可以自己构造请求啦。

2.
还有个比较简单的方法，头条的小视频在分享页面打开，直接从网页元素里就能拿到无水印的视频。
既然这么简单，那是不是上面白破解了？也不是，头条的内的其他大小视频，都可以在获得video_id后构造请求拿到视频地址。

西瓜视频

西瓜是头条的子产品，小视频和大视频都有。

1.
大视频，Fiddler抓包。刷新时抓到个包，里面有接下来几个大视频的信息。和头条那个包类似，也是一大行里有个video_id属性。
根据上面的破解过程构造请求，拿到视频url后，下载的视频好像还是有水印。可能是视频本身就有水印。

2.
小视频，Fiddler抓包。划进下一个视频是可以抓到一个900多B的，一开始还被我忽略了。包里就有这个视频的URL。

西瓜抓包.png