java11语言实现的爬虫项目

Tangyaya · 发表于 2019-3-21 09:58

自己用java语言实现的一个爬虫并展示系统：
系统架构：
jdk11+elasticsearch+freemark+springboot2.1.3
系统特性：
全部采用函数式编程，带你体验lambda+funcational的强大，采用java11的新特性

屏幕快照 2019-03-21 上午9.54.11.png

项目开源地址：https://github.com/tangbaoabo/spider

Tangyaya · 发表于 2019-3-21 17:17

huoxiaoming 发表于 2019-3-21 15:02
厉害，高手高手高手。这个爬虫学习该从哪里先学起呢？

如果会一门语言，了解http相关的知识，再懂点正则提取，或者Xpath提取，获取从服务器返回的json解析，然后把爬来的数据解析成你自己想要的结构化的数据，然后。。存起来或者干吗都可以啦

Tangyaya · 发表于 2019-3-21 10:19

yaclty 发表于 2019-3-21 10:17
不错不错，可以走一波顺便写几个统计

嗯嗯，爬下来的数据之后再用logstash kabana做个统计展示

sa突袭 · 发表于 2019-3-21 10:08

666.springboot的。

phcsea · 发表于 2019-3-21 10:17

提示: 作者被禁止或删除内容自动屏蔽

roar090 · 发表于 2019-3-21 11:05

加油，Java版爬虫有前途

jonny123 · 发表于 2019-3-21 11:09

感谢分享....!!

GarenMorbid · 发表于 2019-3-21 11:52

感谢分享

mythe777 · 发表于 2019-3-21 12:26

666 话说爬来的信息真假不知道了哈哈可以娱乐下

爱的狂野 · 发表于 2019-3-21 14:55

先收藏了，谢谢楼主分享

huoxiaoming · 发表于 2019-3-21 15:02

厉害，高手高手高手。这个爬虫学习该从哪里先学起呢？

帐号		自动登录	找回密码
密码			注册[Register]

phcsea phcsea 当前离线好友阅读权限 0 听众最后登录 1970-1-1 头像被屏蔽	phcsea 发表于 2019-3-21 10:17 提示: 作者被禁止或删除内容自动屏蔽
	如何快速判断一个文件是否为病毒！
	回复支持举报

[Java 转载] java11语言实现的爬虫项目

免费评分

本帖被以下淘专辑推荐:

个人中心