Java 图片爬虫

jb937158168

前言

自学java目前正在找工作,在此期间写个java的爬虫

框架

后端

mybatis、springboot、springcloud、webmagic

前端

vue+Bootstrap

用到的技术

redis做缓存、mysql做用户数据库、Elasticsearch+IK分词器

思路

webmagic做爬虫引擎，抓到的数据存到Elasticsearch数据库里。

前端搜索后端返回json到前端。（因为爬虫爬取的数据量大所以用搜索的时候用mysql的话太慢了，es全文搜索特别快）。

如果前端发送的请求在数据库中没有查到，将会启动一个线程去自动爬取前端发出的关键字。

爬取的图片，用户可以添加喜欢或者收藏（用mysql存入图片id），用户点击过的图片会加入浏览记录（redis缓存图片id）。

因为我想做个分布式我想做个单点登录（redis记录用户登录状态），然后用到前后端分离就不能用session，可以用cookie每次登录的时候返回一个特征码（列如uuid到前端）前端存入cookie，之后每次请求都会携带用户特征码，后端在redis去比较。

目前进度

图片爬取控制展示已经做完

正在做用户登录单点登录

ps：代码太多我就不贴了 我直接上github项目地址。此项目完全开源！！

地址：https://github.com/jb2113286/xjj

jb937158168

xianquanyun 发表于 2020-7-22 19:43
单点登录是用的什么技术？我这段时间用别人做的单点登录系统，是cas，感觉一般。

技术啊 我手写的 就是将用户登录的一个状态记录在redis里 其他服务调用的时候 先过一遍拦截器去看有没有登录

jb937158168

如果我是DJ？ 发表于 2020-6-28 11:38
大佬 为什么要做单点登录啊，是为了加深下单点登录的技术 还是真有作用，求科普一波，

就是想把学到的东西用到加深一下技术，实际项目中单点登录可以实现跨域免登录

xccxvb

太强了！不过，你的图是不是没发上来？

jb937158168

xccxvb 发表于 2020-6-28 11:01
太强了！不过，你的图是不是没发上来？

哎哟！ 忘了 桥豆麻袋。我去截图

楼主你好萌

桥豆麻袋

如果我是DJ？

大佬 为什么要做单点登录啊，是为了加深下单点登录的技术 还是真有作用，求科普一波，

Asy_少洋

有成品吗，大佬

凌翰梓

看哭了，看起来是随便写点东西，里面包含了差不多的这十种东西……

jb937158168

Asy_少洋 发表于 2020-6-28 11:59
有成品吗，大佬

目前还在写 每天写的东西会同步到github上