链氪巴士
  1. 首页
  2. 站点导航
  3. 文章
  4. 快讯
  5. 软件
  6. 书刊
  7. 关于

Kr1s77/awesome-python-login-model:python模拟登录大型网站与简单爬虫

Kr1s77/awesome - python - login - model项目包含python模拟登录大型网站程序和简单爬虫示例。模拟登录方式包括直接登录和selenium+webdriver,针对部分难登录网站后者更轻松,登录后用特定方式采集数据,所有程序用python3编...

访问官网 →

【Github】项目名:Kr1s77/awesome – python – login – model:python模拟登录大型网站与简单爬虫

项目简介

这一项目包含python模拟登录一些大型网站的程序以及一些简单的爬虫示例。模拟登陆基本采用直接登录或者使用selenium+webdriver的方式,对于登录难度大的网站(如qq空间、bilibili等)采用selenium相对轻松。登录后可维护cookie,调用requests或scrapy进行数据采集。项目中的程序都是使用python3编写。

项目目的

为使用者提供python模拟登录大型网站的示例以及简单的爬虫示例,以帮助使用者进行相关开发学习与研究。

核心技术

主要采用selenium+webdriver进行模拟登录,部分模拟登录基于js逆向。在数据采集方面,登录后通过维护cookie,结合requests或者scrapy等工具进行数据采集。

项目总结

这个项目为想要进行python模拟登录和简单爬虫开发的人员提供了很好的示例资源。不过项目在验证码处理方面存在不足,并且可能会因为网站策略或者样式改变导致代码失效。但项目持续更新,大家如果有问题可以直接提交Issues,欢迎提交PR。希望大家如果觉得项目有用,记得给个star。也期待大家在评论区留言参与对该项目的讨论。

项目地址

GitHub链接直达