吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 3033|回复: 13
收起左侧

[学习记录] java爬虫学习的web小项目

  [复制链接]
三木猿 发表于 2020-11-26 10:55
写了个小的一批的小说爬虫web项目,能够配置多个数据源,理论上很多小说网站都能加进去,有兴趣的可以完善下
下载: SanMuYuanBookRemake.rar (11.82 KB, 下载次数: 95)
image.png
[Java] 纯文本查看 复制代码
{
  "顶点": {
    "请求类型": "POST",
    "URL": "http://www.ddxs.com/",
    "搜索URL": "http://www.ddxs.com/search.php",
    "搜索字段": "keyword",
    "正则匹配目录": "<a href=\"/bookCode/(.*?)</a>",
    "内容页获取id": "contents",
    "搜索页标签": "table"
  },
  "笔趣阁5200": {
    "请求类型": "GET",
    "URL": "https://www.biquge5200.com/",
    "搜索URL": "https://www.biquge5200.com/modules/article/search.php",
    "搜索字段": "searchkey",
    "正则匹配目录": "<a href=\"https://www.biquge5200.com/bookCode/(.*?)</a>",
    "内容页获取id": "content",
    "搜索页标签": "table"
  },
  "笔趣阁": {
    "请求类型": "GET",
    "URL": "https://www.biquge.com/",
    "搜索URL": "http://www.biquge.com/searchbook.php",
    "搜索字段": "keyword",
    "正则匹配目录": "<a href=\"/bookCode/(.*?)</a>",
    "内容页获取id": "content",
    "搜索页标签": "dl"
  }
}

image.png
image.png
image.png

免费评分

参与人数 2吾爱币 +1 热心值 +2 收起 理由
galext + 1 谢谢@Thanks!
aichifanqie + 1 + 1 我很赞同!

查看全部评分

本帖被以下淘专辑推荐:

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

tsecond 发表于 2020-11-26 10:58
嗯 看着不错! 学习一下
magicmen 发表于 2020-11-26 11:20
newjre 发表于 2020-11-26 11:22
不忘形影 发表于 2020-11-26 12:31
可以学习了
huadao 发表于 2020-11-26 12:43
学习一下,感谢分享
HighBox 发表于 2020-11-26 12:50
咋还用到了·swagger
HighBox 发表于 2020-11-26 12:54
楼主,去开源到GitHub吧
回忆童年快乐 发表于 2020-11-26 12:59
用爬虫框架了么,还是自己写的,我用的webmagic
 楼主| 三木猿 发表于 2020-11-26 13:32
HighBox 发表于 2020-11-26 12:50
咋还用到了·swagger

测试接口好用呀
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-1 07:23

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表