【Github】项目名：FictionDown – 小说下载及格式转换工具
项目简介
FictionDown是一个命令行界面的小说爬取工具。它可用于批量下载网络小说（仅供数据分析样本采集），支持多站点如起点、笔趣阁等多线程爬取，能够校对小说内容，还支持将小说导出为Markdown、txt格式，也能转换为epub格式（虽存在一些阅读器无法打开的问题），并且内置简单广告过滤功能，用Golang编写，安装部署方便。
项目目的
此工具主要用于数据分析的样本采集，明确指出所产生的文档不能用于传播以及数据评估之外的用途。
核心技术
该项目由Golang编写，在爬取方面采用多站点多线程的爬取方式，可选Chromedp作为外部依赖，支持断点续爬，这可能涉及到对爬取状态的存储与恢复技术。另外，在格式转换方面，例如从Markdown转换为epub可能涉及到对文档结构和元数据的处理技术。
实践案例
以从起点中文网获取小说为例，输入起点链接获取书本信息后开始爬取每章内容，遇到vip章节放入Example中作为校对样本，手动设置笔趣阁等盗版小说的对应链接再次启动爬取VIP部分并校对；还可以根据搜索结果直接下载（当存在至少一个正版源时可用）等操作流程。同时也提到了在使用过程中可能遇到的问题，如起点和盗版站页面更改可能使抓取匹配失效、生成的EPUB文件过大导致阅读器卡顿或崩溃、某些书籍在盗版站未收录无法爬取等情况。
项目总结
FictionDown为小说的下载和格式转换提供了一个较为方便的工具，尤其在多站点爬取和多种格式支持上有一定的优势，但也存在一些如在epub转换和广告过滤方面有待完善的地方。欢迎广大粉丝在下方留言，分享你们对这个项目的看法或者使用过程中的经验。