【吾爱动画大赛2019参赛作品】- NodeJS爬虫抓京东内衣销售记录，分析妹纸们的真实Size

Lost_Rivers · 发表于 2019-9-15 21:22

本帖最后由 Lost_Rivers 于 2019-9-15 21:38 编辑

通过NodeJS爬虫分析某东内衣销售记录，带你们了解妹纸们的真实Size
0x00 序言
参赛之前看了很多，觉得大家的技术都挺高大上的，一点点入门级的爬虫技术，总觉得有点太简单，有点关公面前耍大刀的感觉。

从前两天开始准备，到今天最后这几分钟，总算编辑出来了。作品没经过细致的剪辑，中间讲解的时候，也出现了几处口误，以及着急产生的各种失误，希望大家理解。（借用一句话，理解万岁）

作品灵感来源于马粑粑2017年的网商大会（没记错的话是），想想自己为何不能有一些数据的统计呢。
大家可以放心观看，所有的可能涉及到敏感内容的图片，我都已经通过修改hosts的方式，屏蔽掉了。

0x01 大纲
1. 介绍HTTP请求，包括url和请求头以及响应内容
2. DOM分析，介绍浏览器端的AJAX技术，对某东商品列表，商品详情，评论逻辑的分析
3. NodeJS爬虫的基本逻辑（包括三方库的安装）
4. 代码分析，项目启动，爬取数据的分析
5. 可以配合nodejs一些工具，画出一些相关图表。

0x02 作品截图
作品截图.png

0x03 分析结果
结果.png

处理了好几次，在压缩大小，同时保证能看清代码的情况下，最终压缩到了1.24G，如果看不清的话，反应的人多，我再抽空转一下高清的吧。
最后是教程和源码的下载地址：

链接:https://pan.baidu.com/s/1IJbnK83YzLgMOA4GWD818g 密码:8n9a

解压密码： www.52pojie.cn

包子入侵866 · 发表于 2019-9-16 07:39

吾爱的人才越来越多了

Huggo1995 · 发表于 2019-9-24 07:03

之前在github上看到一个类似的Python爬虫，爬的是天猫的数据。
分享给想学数据分析的小伙伴~
https://github.com/chenjiandongx/cup-size

xyfs · 发表于 2019-9-18 19:24

最近正在学习爬虫,感谢楼主分享

小Q主人 · 发表于 2019-9-15 22:49

感谢分享！

z55751651 · 发表于 2019-9-16 00:02

好东西啊，学习学习

ee789852 · 发表于 2019-9-16 07:17

强大👍感谢分享

T121581 · 发表于 2019-9-16 08:14

建議上傳到B站更方便看

逝去的流梦 · 发表于 2019-9-16 08:28

意思是销量最多的是B？我一直以为是A来的

jnez112358 · 发表于 2019-9-16 08:34

学习中，谢谢楼主分享

Lost_Rivers · 发表于 2019-9-16 08:44

T121581 发表于 2019-9-16 08:14
建議上傳到B站更方便看

好的我看看怎么上传没用过b站

Lost_Rivers · 发表于 2019-9-16 08:46

逝去的流梦发表于 2019-9-16 08:28
意思是销量最多的是B？我一直以为是A来的

还真的是B

帐号		自动登录	找回密码
密码			注册[Register]

[2019] 【吾爱动画大赛2019参赛作品】- NodeJS爬虫抓京东内衣销售记录，分析妹纸们的真实Size

免费评分

本帖被以下淘专辑推荐:

免费评分

浏览过的版块