【Github】项目名:cnbattle/douyin – 抖音推荐/搜索页视频列表视频爬虫方案
项目简介
这是一个抖音推荐/搜索页视频列表的视频爬虫方案。该项目基于golang和adb相关技术,最近测试可用时间为2024.06.20。
项目特点
- 可设置仅抓取大于xx赞的视频。
- 能自定义设置是否下载远程文件到本地。
- 需要安装mitm – proxy.crt证书到相关设备(虚拟机或真机),复制config.example.toml为config.toml并根据需求修改参数后运行程序(go run main.go或编辑运行)。
- 若开启下载会生成一个database.db的sqlite3数据库文件,静态文件(用户头像、视频封面图、视频文件)将放在download/[avatar,cover,video]目录下以便后续上传处理。
待优化之处
- 一直滑动请求推荐列表,APP会异常退出,目前采用每爬取一段时间(可在配置文件自定义)后,强制关闭APP,重新打开继续爬取的方法。
- 目前个人在用的雷电模拟器,长时间运行会卡死,原因暂不明确。
项目总结
项目作者表示自己能力一般,代码存在编码不规范之处,欢迎有能力的朋友根据需求修改并提交pr。如果在使用过程中有问题,可以提交issues或者添加作者同名微信号(备注github过来的)。需要注意的是,本项目仅用于个人学习研究,不得用于商业用途。期待大家在评论区留言讨论这个项目。
项目地址
数据统计
数据评估
关于cnbattle/douyin-抖音推荐/搜索页视频列表视频爬虫方案特别声明
本站链氪巴士提供的cnbattle/douyin-抖音推荐/搜索页视频列表视频爬虫方案都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由链氪巴士实际控制,在2024年12月6日 上午12:00收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,链氪巴士不承担任何责任。
相关导航
暂无评论...