吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 35522|回复: 97
上一主题 下一主题
收起左侧

[原创工具] 【原创】【Github】FictionDown 网络小说爬取工具,支持自动校对、多格式转换

  [复制链接]
跳转到指定楼层
楼主
ma6254 发表于 2019-3-14 01:59 回帖奖励
Github地址为: https://github.com/ma6254/FictionDown
gituhb的用户名和我52pojie的用户名是一样的
下载链接在github的release里
小说爬取类的网上较多,基本上每个看小说的程序员应该都写过类似的东西
这个解决的是章节缺失和章节顺序错乱的问题
还内置了简单的广告过滤,实际上大部分需要手动删除
我学Golang没多长时间,这个算是练手

阅读器:
我安卓上用得的是readera,Mac上用的是calibre





以下是README的内容(删去了部分内容)

FictionDown

License
release_version
last-commit
Download Count

godoc

travis-ci

特性

  • 以起点为样本,多站点多线程爬取校对
  • 支持导出txt,以兼容大多数阅读器
  • 支持导出markdown,可以用pandoc转换成epub,保留书本信息、卷结构、作者信息
  • 内置简单的广告过滤(现在还不完善)
  • 用Golang编写,安装部署方便,外部依赖只有PhantomJS

使用流程

  1. 输入起点链接
  2. 获取到书本信息,开始爬取每章内容,遇到vip章节放入Example中作为校对样本
  3. 手动设置笔趣阁等盗版小说的对应链接,tamp字段
  4. 再次启动,开始爬取,只爬取VIP部分,并跟Example进行校对
  5. 手动编辑对应的缓存文件,手动删除广告和某些随机字符(有部分是关键字,可能会导致pandoc内存溢出或者样式错误)
  6. d -f md生成markwown
  7. 用pandoc转换成epub,pandoc -o xxxx.epub xxxx.md

Example

> ./FictionDown --url https://book.qidian.com/info/3249362 d # 获取正版信息

# 有时会发生`not match volumes`的错误,请启用Chromedp或者PhantomJS

# Use Chromedp
> ./FictionDown --url https://book.qidian.com/info/3249362 d --driver chromedp

# Use PhantomJS
> ./FictionDown --url https://book.qidian.com/info/3249362 d --driver phantomjs

> vim 一世之尊.FictionDown # 加入盗版小说链接
> ./FictionDown -i 一世之尊.FictionDown d -f md # 获取盗版内容
> pandoc -o 一世之尊.epub 一世之尊.md

未实现

  • 爬取起点的时候带上Cookie,用于爬取已购买章节
  • 支持刺猬猫(即“欢乐书客”)
  • 支持直接输出epub,不需要pandoc
  • 支持小说站内搜索
  • 多线程转换md
  • 整理main包中的面条逻辑
  • 整理命令行参数风格
  • 在windows下,md转换到epub时有路径问题
  • 完善广告过滤
  • 简化使用步骤
  • 优化log输出
  • 书本简介也应该为HTML。即<p>  </p>而不是现在的用\t\n

编译

包管理采用godep

  1. dep ensure -v
  2. make or make build 当前目录下就会产生可执行文件

交叉编译

需要安装gox

make multiple_build

支持的盗版站点

随机挑选了几个,实际上有些过于旧的书和作者频繁修改的书是爬不全的

  • www.biqiuge.com
  • www.biquge5200.cc
  • www.bqg5200.com
  • www.booktxt.net
  • www.81new.com

免费评分

参与人数 20吾爱币 +25 热心值 +19 收起 理由
saberqer1 + 1 + 1 谢谢@Thanks!
MaxHHH + 1 + 1 我很赞同!
gg5201314 + 1 可以添加飞卢和菠萝包吗?
WarnSake + 1 + 1 谢谢@Thanks!
吴夜 + 1 你可以看看KindleHelper,写的很完善
elaplace + 1 + 1 热心回复!
dtchiwei + 1 + 1 谢谢@Thanks!
jinxu99 + 1 + 1 我很赞同!
18001175805 + 1 + 1 谢谢@Thanks!
a913381753 + 1 + 1 用心讨论,共获提升!
nat + 1 + 1 谢谢@Thanks!
osboy + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
gs129003 + 1 + 1 谢谢@Thanks!
sodeep + 1 + 1 谢谢@Thanks!
小觐蓝 + 1 + 1 我很赞同!
WilliamDing + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
wangkai558 + 1 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
云在天 + 6 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
Webrobot + 3 + 1 感谢发布原创作品,吾爱破解论坛因你更精彩!
赵先生 + 1 + 1 谢谢@Thanks!

查看全部评分

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

推荐
Nadila 发表于 2019-4-8 16:22
小说党表示很赞
推荐
malei13140617 发表于 2019-3-18 15:13
ma6254 发表于 2019-3-17 19:47
我小说读的不多,基本上只看刺猬猫和起点
至于 飞卢 8站 塔读 这三个没有啥动力去搞
而且刺猬猫有部分V ...

原来是这样。其实我已经在刺猬猫付费到钻石了,但是我还是因为力所不及,支付不起太多本的价格,大概只能支付自己确定要跟下去的书,唉 所以一直在找

尽管也许如果我找到了,就会彻底成为盗版用户,喵喵喵喵
沙发
 楼主| ma6254 发表于 2019-3-14 02:02 |楼主
3#
wangkai558 发表于 2019-3-16 16:54
感谢发布原创作品,吾爱破解论坛因你更精彩!
头像被屏蔽
4#
铁索横江 发表于 2019-3-16 18:45
提示: 作者被禁止或删除 内容自动屏蔽
5#
cai1898 发表于 2019-3-16 20:11
感谢分享,有了这个看以免费看小说了。
6#
fentian_85 发表于 2019-3-16 22:12
谢谢分享
7#
pbgz 发表于 2019-3-16 22:36
可惜是安装版啊!能做个便携版吗!
8#
只看楼主 发表于 2019-3-16 22:38
小说迷赞一个
9#
hmt4321 发表于 2019-3-17 00:03 来自手机
这个必须定一个
10#
daf_print 发表于 2019-3-17 01:41
哇。喜欢看小说的一个神器。必须支持一下了
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则 提醒:禁止复制他人回复等『恶意灌水』行为,违者重罚!

快速回复 收藏帖子 返回列表 搜索

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-3-28 22:41

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表