shengqiangzhang/examples-of-web-crawlers：一些有趣且新手友好的Python爬虫示例

【Github】项目名：shengqiangzhang/examples – of – web – crawlers：一些有趣且新手友好的Python爬虫示例

一、项目简介

这是一些常见的网站爬虫例子，代码通用性较高且时效性较久。项目代码对新手比较友好，尽量用简单的python代码书写，并配有大量注释。其主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。如果没有或不懂如何设置代理的中国用户，可跳转至镜像仓库码云Gitee进行下载，以便获得较快的下载速度。

二、项目内容

1. 淘宝模拟登录：给出了使用教程，包括相关包的安装（如pip install selenium），以及chromedriver路径、微博账号密码的设置等步骤。

2. 天猫商品数据爬虫：使用教程涉及下载chrome浏览器、查看版本号下载对应chromedriver驱动、安装相关包（pip install selenium、pip install pyquery）、登录微博绑定淘宝账号密码、设置chromedriver路径和微博账号密码等。

3. 淘宝已买到的宝贝数据爬虫：操作步骤与天猫商品数据爬虫类似，包括各种包的安装和信息设置等。

4. 每天不同时间段通过微信发消息提醒女友：该功能旨在解决因忙碌忘记关心女友的问题，可设置不同时间段发送消息，如早上起床、中午吃饭等，还能在特殊日子自动发送祝福语，并且可以实时知道女友的情感情绪指数。运行时需要pip安装相关包（pip install wxpy、pip install requests）并设置config.ini相关信息。

5. 爬取5K分辨率超清唯美壁纸：当想在Windows或者Linux下使用Mac下小清新壁纸神器Pap.er中的5K超清分辨率壁纸时，可以使用此爬虫。运行时需进行目录跳转、卸载和重新安装依赖库等操作。

6. 爬取豆瓣排行榜电影数据(含GUI界面版)：源于课程设计，改写后可从排行榜和影片关键词两种方式爬取电影数据，能显示IMDB评分等基本信息，还提供多个在线视频和云盘站点等功能。运行时需查询Chrome版本下载对应chromedriver驱动、修改驱动路径、安装依赖包等操作。

7. 多线程+代理池爬取天天基金网、股票数据(无需使用爬虫框架)：手动实现多线程爬虫过程并引入IP代理池进行反爬操作，以天天基金网为例，介绍了数据格式，并给出配置说明，如确保安装相关库（requests、random等）。

8. 一键生成微信个人专属数据报告：基于python对微信好友进行全方位数据分析，包括昵称、性别等多方面，运行只需扫码登录一步操作，还介绍了如何打包成二进制可执行文件。

9. 一键生成QQ个人历史报告：运行简单，具有良好用户交互界面，只需扫码登录一步操作，获取的数据包括QQ详细数据、手机在线时间等多方面，但由于接口访问限制未对QQ好友进行分析。

10. 一键生成个人微信朋友圈数据电子书：可将微信朋友圈数据保存为电子书或纸质书，运行前需进行目录跳转、卸载和重新安装依赖库等操作。

11. 一键分析你的上网行为(web页面可视化)：适用于Chrome或Chromium为内核的浏览器，可查看过去时间里访问的域名、URL等排名和数据图表，运行前需进行一系列操作如卸载和重新安装依赖库等。

12. 一键导出微信读书的书籍和笔记：基于@arry – lee的项目wereader修改而来，方便微信读书用户整理书籍和导出笔记。

三、项目总结

这个项目提供了丰富的Python爬虫示例，涵盖多个热门网站和实用功能，无论是新手想要学习爬虫知识，还是有经验的开发者寻找特定功能的实现参考，都有一定的价值。欢迎大家在评论区留言，分享你对这个项目的看法或者使用经验。

项目地址

GitHub链接直达