henson/proxypool:Golang实现的IP代理池
henson/proxypool是一个用Golang编写的IP代理池项目。它旨在采集免费的代理资源,为爬虫提供有效的IP代理。代理池由Getter、Channel、Schedule和Api四部分构成。在代码实现方面,包含api接口相关代码、代理获取接口等内容,并且有配置文件来进行数据库、日志等配置。它使用xorm处理数据库,支持多种数据库类型。安装使用时,因部分代理网站反爬技术需先安装PhantomJS,下载项目后配置app.ini即可启动,可通过相应接口获取代理。项目还支持添加自定义代理采集接口且有容错机制。