【Github】项目名:DXY-COVID-19-Crawler:2019新冠疫情实时爬虫及API
项目简介
这一项目是针对2019新型冠状病毒(COVID – 19/2019 – nCoV)疫情状况的实时爬虫,数据来源为丁香园。项目每分钟访问并爬取一次数据,储存在MongoDB中,保存所有历史数据更新。项目已开放API接口(https://lab.isaaclin.cn/nCoV),供他人获取数据做可视化等操作。
项目目的
开发者表示,苦于没有医学背景,希望通过该项目让大家增强对疫情的关注,让未感染者做好更全面的防护。
核心技术
爬虫技术是该项目的核心,利用爬虫每分钟对丁香园的数据进行访问和爬取,将数据存储在MongoDB数据库中。同时,项目还涉及到API的部署与管理,方便其他开发者获取数据。
实践案例
有多个项目使用了本项目的数据或技术,如yijunwang0805/YijunWangDemo网站(https://ncov.deepeye.tech/)可呈现时间序列疫情地图、疫情小区及分析报告;pzhaonet/ncov网站(https://ncov2020.org)等也利用相关数据进行了不同形式的可视化展示。
项目总结
该项目为疫情相关数据的获取与分析提供了便利的工具,在数据获取过程中也面临数据异常等问题(如浙江省/湖北省部分时间序列数据存在数据异常,因丁香园数据为人工录入可能存在错误),但项目也提供了数据异常反馈通道。希望大家可以积极讨论这个项目,有任何想法或问题欢迎留言。
项目地址
数据统计
数据评估
本站链氪巴士提供的DXY-COVID-19-Crawler:2019新冠疫情实时爬虫及API都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由链氪巴士实际控制,在2024年12月6日 上午12:00收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,链氪巴士不承担任何责任。