【Github】项目名：INFO – SPIDER – 集众多数据源的爬虫工具箱
项目简介
INFO – SPIDER是一个爬虫工具箱，它集众多数据源于一身，工具代码开源且流程透明，旨在安全快捷地帮助用户拿回自己的数据，目前支持的数据源涵盖GitHub、各类邮箱、电商平台、通信运营商、社交平台、技术博客等多达24个以上，如QQ邮箱、网易邮箱、京东、知乎、博客园等。
项目目的
在互联网环境中，用户在各个网站的信息被记录利用，用户却无法获取自身数据收益。此项目目的在于帮助用户拿回分散在各处的个人信息，将其聚合起来，还能进行分析并提供建议，以及将个人数据可视化以便用户更深入了解自己。
核心技术
项目采用Python（占比66.7%）编写，使用了爬虫技术获取数据。数据存储为json格式方便后期分析，结构上所有数据源相互独立，爬虫脚本位于Spiders文件下，可移植性高。项目还计划融合机器学习技术、自然语言处理技术等对数据深入分析。提供GUI界面方便用户操作，点击数据源按钮并按提示操作即可获取数据。
实践案例
如用户小明在浏览网页时发现被推送的商品恰好是自己想要的，意识到个人信息被利用，而INFO – SPIDER就可帮助他拿回在京东等平台的个人信息；小白在使用网易云音乐和知乎时，也可通过该工具拿回相关个人信息；小达在技术博客园等平台也能通过此工具获取自己的发文相关数据等。
项目总结
INFO – SPIDER项目解决了个人数据分散形成数据孤岛的痛点，虽然目前v1.0版本仅在Windows平台、Python3.7下测试，存在时效问题且未适配多平台，但它具有结构清晰、数据源丰富、数据格式统一等优点，并且计划在v2.0版本进行重构以提供web端操作和多平台适配等功能。欢迎大家留言讨论这个项目。